ground truth
評価で「正解」とみなす、確認済みの基準情報のこと。推定結果が当たっているかを判定する物差しになる。
たとえば: 答え合わせに使う、公式の解答用紙。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- LLMのデータ帰属を「何が悪いのか」切り分ける:制御ベンチマークCATTと評価設計の論点
LLMのデータ帰属評価で失敗要因を切り分けるため、架空知識で学習させた制御ベンチマークCATTを導入。冗長性やディストラクタが性能を悪化させ、損失やトークン集約の選択が結果を大きく左右すると示す。
