検証器
出力が条件や規則を満たしているかを判定する仕組み。人のチェックを置き換えたり補助したりして、合否やスコアを決めるのに使われる。
たとえば: 答案を採点する自動採点機のように、決めたルールで合っているか確かめる。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 拡散型言語モデルの再生成を「いつ・何を」直すか判定する検証器DiVR
拡散型言語モデルのremaskingで起きる修正の難しさを診断し、部分生成が正解に至るかを予測する検証器DiVRを提案。生成器は変えずに再生成のタイミングと候補選択を制御し、推論ベンチマークで精度向上を報告する。
- マルチエージェントAIの「仕事の段取り力」を測るベンチマークWorkflowArena
LLMが複数の作業者役エージェントを率いる際の「実行可能なワークフロー設計・調整能力」をworkflow orchestrationとして定義し、145タスクからなるWorkflowArenaで評価する枠組みを提示する。成果物の品質と委任のしかたを併せて測る点が特徴。
