ROC-AUC
2クラス判定の性能を、しきい値を動かしながら総合的に測る指標。1に近いほど、正しい順序づけ(見分け)がうまいことを表す。
たとえば: 合否ラインを色々変えても、だいたい成績順に正しく並べられる試験のような評価。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 対照学習とプロトタイプ推論でjailbreak試行を検知する「JDPI」
大規模言語モデルの安全運用で問題となるjailbreak試行の検知に向け、追加の下流分類器を学習せずに判定するJDPIを提案。バイナリ安全ラベルからプロトタイプを作り距離で予測し、複数ベンチマークや転移設定で性能を比較した。
