シャープネス
損失の地形が、ある点の周りでどれだけ急に変化するか(鋭さ)を表す見方。少し動いただけで損失が大きく変わる状態は「鋭い」。
たとえば: 山道がなだらかか、崖のように急かの違い。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 大きな一定ステップサイズでの敵対的学習:GDの暗黙のバイアス・最適化・シャープネスを整理
敵対的学習(AT)における大きな一定ステップサイズの勾配降下法(GD)の挙動を調べ、標準学習(ST)と比べた違いを暗黙のバイアス、収束率、損失のシャープネスの観点からまとめた研究。
