条件付き分布
ある条件(入力など)が与えられたときに、起こりうる結果がどれくらいの確率で出るかの割り当て。入力に対して出力候補の起こりやすさを表す。
たとえば: 「この質問をされたら、この答えを選びやすい」という選択肢の偏りの地図みたいなもの。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- Ambient SFT:温度で「粗く合わせる」データ効率のよい教師あり微調整
大規模で多様なポストトレーニングデータ収集の難しさを背景に、凍結した事前学習モデルをノイズ教師として用いるAmbient SFTを提案。高温化した条件付き分布の一致を求め、標準SFTより最大21%の平均相対改善を報告する。
