action gradient
行動を少し変えたときに評価がどちらへどれだけ変わるか、という“変化の向き”を表す情報。より良くなる方向に行動を調整する目印になる。
たとえば: つまみを少し回すと音が大きくなる/小さくなる、という増減の方向を教える矢印。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- フローポリシーをオフポリシーで強化学習する手法「QF3」の提案
QF3はフローポリシーをオフポリシーで学習するオンラインRL手法。フローマッチングにcriticのaction gradientを組み合わせ、更新をリプレイ近傍の次元に限定する。ヒューマノイドでFPO++比10xの壁時計時間高速化を報告する。
