AUC
「当てた/外した」だけでなく、判定のしきい値を変えたときの全体的な見分けやすさを表す指標。1に近いほど区別がうまい。
たとえば: 合格ラインを上下させても、だいたい上位が安定して上位に来る試験の“総合力”。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 白箱プローブでLLMの欺瞞を検出する試み:大規模データセットと新アーキテクチャで評価
LLMエージェントの監視に向け、白箱プローブによる欺瞞検出をフロンティア監視設定へ拡張する研究が報告された。SHADE-ArenaでAUC 98.8%を示し、文脈だけでは判定しにくい「introspective deception」でも最大AUC 99.7%の識別を示した。
