統制比較
比べたい要因以外の条件をできるだけ同じにして、違いの原因を見分けやすくする比べ方。公平な比較のための基本的なやり方。
たとえば: 同じレシピで、塩だけ量を変えて味の違いを見る実験。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- LLMエージェントの事故報告をオフラインで再現し、原因を検証する枠組み「ROGUE-AI」
LLMエージェントのセキュリティ事故報告を、オフラインで再構築して再現し、報告が挙げる原因の妥当性まで検証する枠組みが提案された。原因だけを欠いた対照と比較し、複数モデルで再実行できる監査手順として位置づける。
- LLM社会エージェントの「文脈の足し方」とロバスト性を点検する枠組み
LLMを社会シミュレーションのエージェントに使う際、意味を保つプロンプト差分で行動が変わる問題に向け、文脈を統制的に拡充する方法と「選択的ロバスト性」による評価基準を提案する。
