蒸留
大きなモデルの出力を手本にして、より小さなモデルに同じような振る舞いを学ばせる方法。小型化や高速化のために使われる。
たとえば: 熟練者のやり方を観察して、初心者がコツを写し取る。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- ループ型言語モデルを「固定点」から見直し、学習・推論・RLの効率化を狙う
ループ型言語モデルの反復計算を、固定点近傍では経路が重要でないという見方から捉え直す。truncated backpropagationやterminal KV sharing、蒸留によるprefill高速化、RLの勾配計算高速化を述べる。depth priorとinput injectionを改良し、100M〜1.6Bでperplexity低下を報告する。
- 多数候補の「power sampling」を、1回の生成に近づける学習法OPPD
power distributionで推論を改善する際の「多数候補を生成して採点する」負担を減らすため、1回の生成で同様の効果を狙う学習手法OPPDを提案。MATH500やGSM8Kなどで単発生成の精度向上を報告している。
