語彙的ディストラクタ
内容の判断を紛らわせるために混ざっている、似た単語や関係ありそうに見える単語のこと。モデルや評価が本当の手がかりを取り違えやすくなる。
たとえば: クイズで、正解に似た言い回しの選択肢をわざと入れて迷わせる「ひっかけ」。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- LLMのデータ帰属を「何が悪いのか」切り分ける:制御ベンチマークCATTと評価設計の論点
LLMのデータ帰属評価で失敗要因を切り分けるため、架空知識で学習させた制御ベンチマークCATTを導入。冗長性やディストラクタが性能を悪化させ、損失やトークン集約の選択が結果を大きく左右すると示す。
