破壊的忘却
新しい内容を学習するときに、以前できていたことが大きくできなくなる現象。追加学習が原因で古い知識や技能が抜け落ちる。
たとえば: 新しい職場のやり方を覚えたら、前の職場の手順をすっかり忘れてしまうようなもの。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- Ambient SFT:温度で「粗く合わせる」データ効率のよい教師あり微調整
大規模で多様なポストトレーニングデータ収集の難しさを背景に、凍結した事前学習モデルをノイズ教師として用いるAmbient SFTを提案。高温化した条件付き分布の一致を求め、標準SFTより最大21%の平均相対改善を報告する。
