SHIRITAS

論文 / arXiv:2610.12420

A Unified Bellman Operator for Safety-Critical Reinforcement Learning

PLAIN SUMMARY / やさしい要約

危険が許されない場面での学習では、「うまくやること」と「危ないことをしないこと」を同時に守る必要があります。この研究は、その2つを別々に扱うのではなく、1つのまとめた指標として学べる形を提案しています。たとえるなら、目的地に早く着く工夫と、交通ルールを守る工夫を、別々の地図ではなく同じ地図の上で考えるようなものです。さらに、その学び方が理論的にうまく落ち着くことや、連続制御タスクで安全違反がほぼゼロだったことが述べられています。

AIが専門用語を使わずに書いた解説です。内容の正確さは、下の原文の要旨で確認してください。

ABSTRACT / 要旨(原文)

Reinforcement learning in safety-critical domains requires maximizing task performance while strictly adhering to safety constraints. Existing safe reinforcement learning paradigms typically force a trade-off: they either require a priori knowledge to provide strict safety guarantees (e.g., safety filters), or they enable joint learning but only satisfy safety constraints on average. In this work, we propose a novel Bellman operator that unifies performance and safety objectives into a joint value function. We show that temporal difference learning with the joint Bellman operator converges under a two-timescale stochastic approximation framework. On the fast timescale, the safety value of the learning joint policy is estimated, while the joint value is estimated on the slow timescale. Convergence is ensured by formulating the limiting dynamics as an occupation-averaged differential inclusion, and showing that it asymptotically converges to a set of limiting optimal safety-constrained task value functions. Theoretically, once converged, the resulting optimal policy maximizes task return while maintaining safety at all times. Empirical evaluations on continuous control tasks with neural approximations demonstrate stable convergence with near-zero safety violations at test time.

ここに表示しているのは原論文の要旨です。AIによる要約や解釈は含みません。

この論文を取り上げた記事