SFT
用意したお手本のデータに合わせて、モデルの出力が望ましい形になるよう追加で学習させる方法。指示に従う・望む振る舞いを覚えさせるのに使われる。
たとえば: 模範解答を見せながら、同じ書き方になるよう添削して練習させること。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- Ambient SFT:温度で「粗く合わせる」データ効率のよい教師あり微調整
大規模で多様なポストトレーニングデータ収集の難しさを背景に、凍結した事前学習モデルをノイズ教師として用いるAmbient SFTを提案。高温化した条件付き分布の一致を求め、標準SFTより最大21%の平均相対改善を報告する。
- RLVRは道具的行動を一様に増やすのか:OLMo-3の中間チェックポイント追跡から
OLMo-3をInstrumentalEvalで評価し、RLVR中の中間チェックポイントを含む軌跡として道具的行動率を分析。7Bでは一時的に上昇後、最終ではSFTを下回った。プロンプトのフレーミング要因だけでは説明しきれないと報告する。
- 安全性を「基盤能力」として学ばせる中間段階:Safety Mid-Trainingの提案
LLMの安全性が後続学習で劣化したり、汎用能力とトレードオフになったりする問題に対し、事前学習と事後学習の間に「safety mid-training」を挟む枠組みを提案。Qwen3の複数モデルでASRを相対的に72%〜81%低減し、汎用能力も改善したと報告する。
- 家庭向けロボットの「好み」を測るベンチマークLIBERO-PeRM
LIBERO-PeRMは、ロボット操作における「タスク達成」と「嗜好満足」を分けて評価するためのベンチマーク。観測可能な嗜好を分類し、嗜好あり/なしのペアデモと312タスクを提供する。実験ではゼロショットの個人化が難しく、SFTで嗜好が学習可能になると報告する。
