LLM judge
別の言語モデルを「審査役」として使い、回答の良し悪しや条件を満たしているかを判定させる方法。人の採点の代わりに使われることがある。
たとえば: 提出物を先生ではなく、別クラスの優等生に採点してもらうようなもの。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- LLMの「拒否理由」は正しくても、やり直しの手がかりにならないことがある——複数ルールの拒否説明を検証
複数の独立ルールが同時に拒否する場面では、LLMが真の理由を挙げても再申請の助けにならない場合がある。著者らは「recourse validity」を定義し厳密計算しつつ、規則集合だけから失敗を予測する枠組みを示した。
