distillation
大きいモデルの出力(確率やスコア)をお手本にして、小さいモデルを学習させる手法。小さいモデルに知識を移す目的で使われる。
たとえば: ベテランの解き方を見本にして、新人がコツを学んでいく“写経トレーニング”のようなもの。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- シミュレーションRLの制御知識を「潜在文脈」として再利用し、少量デモで器用操作を学ぶ枠組み
視覚デモが限られる器用操作学習に向け、特権情報ありのシミュレーションRLで得た制御知識を蒸留し、凍結したデコーダを保ったまま画像から潜在文脈を学習する2段階手法を提案。3タスクで低データ時の性能向上を報告する。
