critic(価値関数)
ある状況でその行動がどれくらい良さそうかを点数づけして見積もる役割のモデル。行動を選ぶ側の学習を助けるために使われる。
たとえば: 料理の試作に対して「この味は良い/悪い」と採点する審査員。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 複雑な条件を分解して点数化する「視覚検証器」を提案:OmniVerifier-C1
OmniVerifier-C1は、複雑な要求やルールを要素分解し各要素を連続スコアで評価する視覚検証器を提案する。解釈可能な出力で汎化を狙い、学習にDecoupled RLを用いる。
- フローポリシーをオフポリシーで強化学習する手法「QF3」の提案
QF3はフローポリシーをオフポリシーで学習するオンラインRL手法。フローマッチングにcriticのaction gradientを組み合わせ、更新をリプレイ近傍の次元に限定する。ヒューマノイドでFPO++比10xの壁時計時間高速化を報告する。
