ステップサイズ
勾配降下法で1回の更新でどれだけパラメータを動かすかを決める量。大きいと速く動くが、行き過ぎて不安定になりやすい。
たとえば: 地図を見て目的地へ進むときの「一歩の大きさ」。大股だと早いが曲がり角で行き過ぎやすい。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 大きな一定ステップサイズでの敵対的学習:GDの暗黙のバイアス・最適化・シャープネスを整理
敵対的学習(AT)における大きな一定ステップサイズの勾配降下法(GD)の挙動を調べ、標準学習(ST)と比べた違いを暗黙のバイアス、収束率、損失のシャープネスの観点からまとめた研究。
