self-distillation
モデル自身(またはその別版)が出した出力を教師のように使い、学習し直して安定させたり改善したりする学習法。複数の出力をまとめて学ぶ形になることもある。
たとえば: 自分の解答を見直して、より良い解き方に書き換えて覚え直す勉強。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- IdeaAnchor:論文の統合手順を「構造化仕様」として与え、LLMの研究アイデア生成を学習させる枠組み
IdeaAnchorは、関連論文群の統合のしかたを構造化仕様として符号化し、それを特権信号にしてLLMへ研究アイデア生成を学習させる枠組み。公開論文から实例をマイニングし、複数の学習手法と推論時retrievalで生成を強化する。実験では品質改善が示され、統合と精緻化の役割分担も分析された。
