二重時間スケール
更新の速さが異なる2種類の学習を同時に進める考え方。片方は頻繁に、もう片方はゆっくり更新して相互に影響させる。
たとえば: 毎日の家計簿(速い)と月ごとの予算見直し(遅い)を並行して回す。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 安全と性能を同時に扱う「統一的なBellman演算子」を提案する安全強化学習
安全クリティカル領域の強化学習で、性能最大化と安全制約の厳守を両立させるための統一的なBellman演算子を提案。joint value functionとして目的を統合し、二重時間スケールのTD学習の収束も示す。
