勾配降下法
誤差を小さくする方向を計算し、その方向へ少しずつ調整を繰り返して性能を上げる最適化手法。「どちらに動かせば良くなるか」という傾きを頼りに進む。
たとえば: 坂の傾きを見ながら、いちばん下りやすい方向へ少しずつ歩いて谷底を探すようなもの。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 大きな一定ステップサイズでの敵対的学習:GDの暗黙のバイアス・最適化・シャープネスを整理
敵対的学習(AT)における大きな一定ステップサイズの勾配降下法(GD)の挙動を調べ、標準学習(ST)と比べた違いを暗黙のバイアス、収束率、損失のシャープネスの観点からまとめた研究。
