勾配
出力や損失が少し変わったとき、各パラメータをどちらにどれだけ動かせばよいかを示す手がかり。学習で重みを更新する方向を決めるのに使う。
たとえば: 山道で「どちらへ進めば下り(改善)になるか」を示す傾きの矢印みたいなもの。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- LLMのデータ帰属を「何が悪いのか」切り分ける:制御ベンチマークCATTと評価設計の論点
LLMのデータ帰属評価で失敗要因を切り分けるため、架空知識で学習させた制御ベンチマークCATTを導入。冗長性やディストラクタが性能を悪化させ、損失やトークン集約の選択が結果を大きく左右すると示す。
