自己回帰型言語モデル
これまでの文章を手がかりに、次の1語(または文字)を順番に予測して文章を作る言語モデル。出力が前の出力に連鎖して決まる。
たとえば: 一言しゃべるたびに、その直前までの会話の流れを見て次の言葉を選ぶ会話のしかた。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- Ambient SFT:温度で「粗く合わせる」データ効率のよい教師あり微調整
大規模で多様なポストトレーニングデータ収集の難しさを背景に、凍結した事前学習モデルをノイズ教師として用いるAmbient SFTを提案。高温化した条件付き分布の一致を求め、標準SFTより最大21%の平均相対改善を報告する。
