強化学習
試行錯誤しながら、得点(報酬)が高くなる行動の選び方を学ぶ方法。うまくいった行動を増やし、失敗しやすい行動を減らす。
たとえば: ゲームで何度も挑戦し、スコアが伸びる動きを覚えていく練習。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- シミュレーション強化学習で、オープンウェイト推論モデルが実ロボット操作に転移する可能性
論文は、オープンウェイト27B推論モデルをデモなし・シミュレーションのみの強化学習で訓練し、実ロボット操作に転移できると報告する。PEARとRURLを提案し、LIBERO等で成功率の大幅な改善や汎用能力の劣化なしを示したという。
- AutoScaffold:報酬に圧縮されがちな学習経験を「訓練時のヒント」に変える枠組み
AutoScaffoldは、RLVRで得られる訓練経験をもとに、凍結したteacherが戦略やヒント(スキャフォールド)を適応的に設計・調整する枠組みだ。4領域で、スキャフォールド無し評価でもRLベースラインを上回ったと報告している。
- ThinkWorld:人間動画も生かすために、世界の変化に基づいて行動を学ぶVLA枠組み
ロボット操作VLAの一般化が、行動ラベル付き実演データの網羅性に縛られる課題に対し、ThinkWorldは世界ダイナミクスと“想像”を使って学習を進める。CoDという共通表現で、人間動画とロボット経験を同じ推論空間で扱うことを狙う。
- RynnUnify:身体性理解・長期視覚プランニング・ロボット制御をつなぐ統一モデルの提案
16BモデルRynnUnifyは、動画と言語を交えた推論で身体性理解と長期視覚プランニングを統合する。強化学習による拡張やロボット制御への展開、専用ベンチマークでの評価結果も報告された。
- RLVRは道具的行動を一様に増やすのか:OLMo-3の中間チェックポイント追跡から
OLMo-3をInstrumentalEvalで評価し、RLVR中の中間チェックポイントを含む軌跡として道具的行動率を分析。7Bでは一時的に上昇後、最終ではSFTを下回った。プロンプトのフレーミング要因だけでは説明しきれないと報告する。
- 外部データなしで長文脈推論を鍛える手法「LongZero」の提案
LongZeroは、外部コーパスや教師モデルに頼らず、LLM自身が根拠付きQAを構造化生成し、根拠を長いマルチ文書文脈へ展開して学習する手法。2つのLLM・5ベンチマークで評価し、外部コーパス由来データでRLする比較法より高性能だと報告する。
- 安全性を「基盤能力」として学ばせる中間段階:Safety Mid-Trainingの提案
LLMの安全性が後続学習で劣化したり、汎用能力とトレードオフになったりする問題に対し、事前学習と事後学習の間に「safety mid-training」を挟む枠組みを提案。Qwen3の複数モデルでASRを相対的に72%〜81%低減し、汎用能力も改善したと報告する。
- 複雑な条件を分解して点数化する「視覚検証器」を提案:OmniVerifier-C1
OmniVerifier-C1は、複雑な要求やルールを要素分解し各要素を連続スコアで評価する視覚検証器を提案する。解釈可能な出力で汎化を狙い、学習にDecoupled RLを用いる。
- LLMエージェントの「目標からの逸脱」を実行中に監督するステアリング手法
LLMエージェントが実行中に目標から逸脱する「goal drift」へ対処するため、実行コンテキストを観測して介入するsteering agentを提案。介入判断と介入生成をfast/slowの2経路に分け、強化学習で共同学習する。
- 言語エージェント学習で「行動」と「先読み」を同時に鍛える提案(Co-Evolving Acting and Forecasting)
長いロールアウトのコストと終端報酬偏重で中間監督が活きにくい課題に対し、成功軌跡から後続の行動列を学ぶ「multi-step action targets」を導入。5ベンチマークでGRPO等より強い総合性能と、ScienceWorldで最大2.0×のサンプル効率を報告する。
- 単一の人間動画を「逐次的シーングラフ」にしてRLを導く:Dex-One2Manyの提案
Dex-One2Manyは、単一の人間動画を逐次的シーングラフに抽象化し、RLの探索と報酬設計を同時にガイドする枠組みを提案する。動画にない姿勢や把持への一般化と、多段タスクでの探索困難の緩和を狙う。5タスクで、見た構成では6.5%、見ていないシナリオでは71%ベースラインを上回ったと報告する。
- 安全フィルタを学習で償却する「FAITH」:高次元ロボット向けSafe RLの提案
FAITHは、安全と性能の競合を避けるため行動実行時に安全フィルタをかける枠組みを提案する。解析的モデル不要で安全価値を近似し、介入を最小にするフィルタをニューラルネットで償却する。安全行動がない場合も害を小さくする行動へ寄せるという。
- 安全と性能を同時に扱う「統一的なBellman演算子」を提案する安全強化学習
安全クリティカル領域の強化学習で、性能最大化と安全制約の厳守を両立させるための統一的なBellman演算子を提案。joint value functionとして目的を統合し、二重時間スケールのTD学習の収束も示す。
- フローポリシーをオフポリシーで強化学習する手法「QF3」の提案
QF3はフローポリシーをオフポリシーで学習するオンラインRL手法。フローマッチングにcriticのaction gradientを組み合わせ、更新をリプレイ近傍の次元に限定する。ヒューマノイドでFPO++比10xの壁時計時間高速化を報告する。
- IdeaAnchor:論文の統合手順を「構造化仕様」として与え、LLMの研究アイデア生成を学習させる枠組み
IdeaAnchorは、関連論文群の統合のしかたを構造化仕様として符号化し、それを特権信号にしてLLMへ研究アイデア生成を学習させる枠組み。公開論文から实例をマイニングし、複数の学習手法と推論時retrievalで生成を強化する。実験では品質改善が示され、統合と精緻化の役割分担も分析された。
- 応答冒頭の「キュー」がベースモデルの推論挙動に結びつく可能性
学習データが、応答の最初のトークンとその後の推論挙動を結びつける仕組みを調べた研究。特定の開始トークンを固定すると数学タスクで精度が上がり、RLがその出現を増やす可能性や、データ介入でキュー効果を付与・除去できることを報告する。
- ループ型言語モデルを「固定点」から見直し、学習・推論・RLの効率化を狙う
ループ型言語モデルの反復計算を、固定点近傍では経路が重要でないという見方から捉え直す。truncated backpropagationやterminal KV sharing、蒸留によるprefill高速化、RLの勾配計算高速化を述べる。depth priorとinput injectionを改良し、100M〜1.6Bでperplexity低下を報告する。
