pass@1
1回だけ出した答え(例:最初の1解)が正解だった割合を表す指標。複数回試行して当たりを引く方式と比べ、初手の確かさを測りやすい。
たとえば: 一発勝負のクイズで、最初の回答が当たった確率。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 推論の枝刈りをpass@$k$で最適化し、品質と多様性の両立を狙う手法
推論時に多数の候補解を作る手法では計算負荷が課題となる。著者らは短い途中経過(prefix)で候補を選別する際、pass@$k$を目的関数にして品質と多様性のトレードオフを直接最適化する枝刈りを提案した。8つのオープンウェイト推論モデルで既存法より良い性能を示したという。
