知識蒸留
性能の高いモデルの出力を手本にして、別のモデルに同じような判断を学ばせる方法。正解ラベルだけでなく「どれをどれくらい迷うか」も写す。
たとえば: 熟練者の答えだけでなく迷い方まで見て、弟子がコツを盗むような学び方。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- Ambient SFT:温度で「粗く合わせる」データ効率のよい教師あり微調整
大規模で多様なポストトレーニングデータ収集の難しさを背景に、凍結した事前学習モデルをノイズ教師として用いるAmbient SFTを提案。高温化した条件付き分布の一致を求め、標準SFTより最大21%の平均相対改善を報告する。
