SHIRITAS

用語集

distillation

大きいモデルの出力(確率やスコア)をお手本にして、小さいモデルを学習させる手法。小さいモデルに知識を移す目的で使われる。

たとえば: ベテランの解き方を見本にして、新人がコツを学んでいく“写経トレーニング”のようなもの。

AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。

この言葉が出てくる記事