世界モデル
カメラなどの観測から、環境が今どうなっていて次にどう変わりそうかを内部で表す仕組み。予測を使って判断や行動を助ける。
たとえば: 頭の中に「この先こうなりそう」という簡易シミュレーターを持って運転する感じ。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- ロボット操作の予測と「スキルの再利用」をつなぐ枠組みAW-0
論文は、コードによる計画と、将来映像・行動の予測を同時に扱う「Agentic World Action Model」AW-0を提案する。コード・動画・行動を結合した生成ストリームとして共同モデリングし、スキルを再利用可能な形にまとめる自動キュレーションも導入した。
- Ropedia W0:人間とロボットをまたぐ「移動+操作」の世界モデルを目指す研究
人間と複数ロボットのエゴセントリックデータを統一表現で学習し、移動と操作を同時に予測する世界モデルRopedia W0を提案する。10k時間(人)+3k時間(ロボ)のデータセットと長時間ベンチマークを整備し、複数ベンチマークでSOTAと報告している。
- 複雑な条件を分解して点数化する「視覚検証器」を提案:OmniVerifier-C1
OmniVerifier-C1は、複雑な要求やルールを要素分解し各要素を連続スコアで評価する視覚検証器を提案する。解釈可能な出力で汎化を狙い、学習にDecoupled RLを用いる。
- P$^{3}$-WAM:一つのモデルで「見る・予測する・計画する」を統合する器用操作向け手法
P$^{3}$-WAMは、エゴセントリックな器用操作に向けて、3D知覚・行動条件付き予測・目標指向計画を単一モデルに統合する。動画拡散Transformerへ3D行動表現を組み込み、3モード学習で能力を伸ばすと報告する。
- SafeDriveVLA:自然言語ナビの「危険な指示」に備えるための評価とVLA手法
自動運転VLAに対し、自然言語ナビが生む不安全/悪意ある指示の脆弱性を問題提起。ナビ追従とコンフリクト認識、敵対的頑健性を同時に測るベンチマークと、三段階モード予測+world model dreamingで対処するSafeDriveVLAを提案する。
- RSI-Anything:世界モデルを使って「改善の改善」を回す枠組み
RSI-Anythingは、予測的な世界モデルで行動や学習データの選択を導き、フィードバックに応じて方策やモデルを更新するRSI枠組みだ。複数領域で性能向上が報告され、更新の保持は互換性チェックで管理される。
- RoboJEPAが示す、ロボット向け潜在世界モデルの「計算量と誤差」のスケーリング
JEPAベースの潜在世界モデルRoboJEPAについて、計算量に対するimagination errorのスケーリング則(2次のパワーロー)と、計画性能との相関を示した。実機で単一ゴール画像に向けたゼロショット計画のデモと、コード公開も報告している。
- 公開エンコーダだけで作る転移可能な敵対的パッチ攻撃「TAPDreamer」
ロボット制御の基盤となるworld action modelに対し、公開エンコーダのみから固定パッチを作る攻撃TAPDreamerを提案。注意機構を通じた表現シフトの拡散を利用し、閉ループ評価で複数ベンチマークの成功率を大きく低下させた。
