ランキング性能
対象を「よりそれらしい順」に並べたとき、その並びがどれだけ正しいかを表す指標。二択の正解率とは違い、順序の良さを見る。
たとえば: おすすめ商品を上位に出せているか、並び順の出来を採点するイメージ。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- LLMの「嘘」を方向ベクトルで見分ける試み:persona directionとknowledge direction
役割演技から得るラベル不要の「persona direction」と、知識の有無を対比する「knowledge direction」でLLMの欺瞞検出を検証。Liars' Benchでは3/4モデルで従来プローブより良い一方、知識に関する嘘では限界も示された。
