プロンプト分布
ユーザーが投げてくる質問や指示(プロンプト)が、どんな種類・難易度・割合で現れるかという偏りの全体像。評価で何を多く含むかで結果が変わる。
たとえば: 店に来る客層(家族連れが多い、観光客が多い等)の「来店パターン」に似ている。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- ユーザーが適応する対話型LLMの評価は、オフラインとオンラインで「見ているもの」が変わる
対話型LLMではユーザーの適応によりプロンプトが内生的に変化し、オフライン評価とライブA/Bが推定する量がずれうる。論文は2種の推定対象を定義し、順位逆転の条件や一致の十分条件、分散増加の可能性を理論的に整理する。
