過学習
学習に使った例にはよく合うのに、新しい例ではうまく働かなくなる状態。見本を覚え込みすぎて応用がきかなくなる。
たとえば: 過去問だけ丸暗記して、少し形が変わった問題で点が取れない状態。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- Ambient SFT:温度で「粗く合わせる」データ効率のよい教師あり微調整
大規模で多様なポストトレーニングデータ収集の難しさを背景に、凍結した事前学習モデルをノイズ教師として用いるAmbient SFTを提案。高温化した条件付き分布の一致を求め、標準SFTより最大21%の平均相対改善を報告する。
