ポストトレーニング
大規模な事前学習を終えた後に、特定の目的に合わせて追加で学習させる段階。振る舞いの調整や能力の上乗せに使われる。
たとえば: 基礎練習を終えた選手が、試合向けに特訓メニューで仕上げるようなもの。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- Ambient SFT:温度で「粗く合わせる」データ効率のよい教師あり微調整
大規模で多様なポストトレーニングデータ収集の難しさを背景に、凍結した事前学習モデルをノイズ教師として用いるAmbient SFTを提案。高温化した条件付き分布の一致を求め、標準SFTより最大21%の平均相対改善を報告する。
- シミュレーション強化学習で、オープンウェイト推論モデルが実ロボット操作に転移する可能性
論文は、オープンウェイト27B推論モデルをデモなし・シミュレーションのみの強化学習で訓練し、実ロボット操作に転移できると報告する。PEARとRURLを提案し、LIBERO等で成功率の大幅な改善や汎用能力の劣化なしを示したという。
