SHIRITAS

論文 / arXiv:2611.23229

Ambient LLMs: Data-Efficient Supervised Fine-tuning via Temperature Matching

PLAIN SUMMARY / やさしい要約

大きくて質のよい追加学習用データを集めるのは難しく、少ないデータで追加学習すると覚え直しに偏ってしまうことがあります。そこでこの研究は、すでに学習済みのモデルを「答えをうるさく言い過ぎない先生」として使い、追加学習後のモデルが大まかにそれに合わせる方法を提案します。たとえば、先生の説明を細部まで丸暗記するのではなく、要点が同じになるように学ぶイメージです。その結果、いくつかの場面で従来の方法より良い成績になり、最大21%の改善が報告されています。

AIが専門用語を使わずに書いた解説です。内容の正確さは、下の原文の要旨で確認してください。

ABSTRACT / 要旨(原文)

Collecting large-scale, diverse, and high-quality post-training datasets for autoregressive language models is challenging. Consequently, Supervised Fine-Tuning (SFT) is typically applied to datasets significantly smaller than those used for pre-training, which leads to overfitting and the catastrophic forgetting of the tails of the data distribution. To prevent this collapse, we introduce Ambient SFT, a principled framework for leveraging imperfect predictions to augment the fine-tuning set. In our method, a "frozen" version of the pre-trained model serves as a noisy teacher that the fine-tuned model must match at a coarse level. In particular, we require that the high-temperature versions of the conditional distributions produced by the post-training model should match the high-temperature versions of the pre-training ones. The temperature hyperparameter controls the level of trust in the pre-trained model, with the limit $T\to \infty$ reverting back to regular SFT and $T=1$ to knowledge distillation. We demonstrate that our approach outperforms standard SFT across domain adaptation, instruction-tuning, and reasoning, leading for up to $21\%$ average relative improvement to standard SFT.

ここに表示しているのは原論文の要旨です。AIによる要約や解釈は含みません。

この論文を取り上げた記事