クロスエントロピー損失
予測した確率が、正しい答えにどれだけ近いかを測るための誤差の尺度。正解に低い確率を出すほど大きな罰になる。
たとえば: 正解を外したときに減点され、外し方がひどいほど減点が大きいテスト採点。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- LLMのデータ帰属を「何が悪いのか」切り分ける:制御ベンチマークCATTと評価設計の論点
LLMのデータ帰属評価で失敗要因を切り分けるため、架空知識で学習させた制御ベンチマークCATTを導入。冗長性やディストラクタが性能を悪化させ、損失やトークン集約の選択が結果を大きく左右すると示す。
