方策
状況(観測)を見て、次にどの行動を選ぶかを決めるルールや考え方のこと。手作業で作る場合も、学習で身につける場合もある。
たとえば: 地図を見ながら「次は右に曲がる」と判断するための自分なりの行動ルール。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- OopsieRecover:少数の是正デモからVLAの失敗回復を学ばせる枠組み
VLAモデルのデプロイ時の失敗に対し、少数の是正デモの「意図」を外転で推論し、条件付きコストとして方策を誘導するOopsieRecoverが提案された。6タスクの実験で、新規状況への一般化を示したと報告している。
- Mem4Act:長期ロボット操作に向けた固定サイズの潜在メモリ学習
Mem4Actは、長期のロボットマニピュレーションで必要な過去情報を、固定サイズの潜在メモリとして学習する枠組み。履歴の時間集約と、意味・知覚を補う監督、二段階学習で方策のメモリ利用を促すという設計を組み合わせる。
- Spark-0:触覚を事前学習と運用の両方に生かすロボット操作モデル
Spark-0は、触覚を(1)事前学習時の監督信号、(2)運用時の方策入力として併用するVTLAモデルを提案する。HumanTouch(1,000時間)とSparkArenaを整備し、複数ベンチマークで高い成功率・順位を報告している。
- LoopWAM:デプロイ後の混合品質ロールアウトからロボット方策を改善する枠組み
LoopWAMは、成功から失敗まで混ざった実環境ロールアウトをそのまま学習に使い、クローズドループで汎用ロボット方策を改善するworld-action modelを提案する。行動学習と世界モデル化を統合し、品質に応じて模倣を調整する。複数ベンチマークで成功率の向上が報告されている。
- RSI-Anything:世界モデルを使って「改善の改善」を回す枠組み
RSI-Anythingは、予測的な世界モデルで行動や学習データの選択を導き、フィードバックに応じて方策やモデルを更新するRSI枠組みだ。複数領域で性能向上が報告され、更新の保持は互換性チェックで管理される。
- フローポリシーをオフポリシーで強化学習する手法「QF3」の提案
QF3はフローポリシーをオフポリシーで学習するオンラインRL手法。フローマッチングにcriticのaction gradientを組み合わせ、更新をリプレイ近傍の次元に限定する。ヒューマノイドでFPO++比10xの壁時計時間高速化を報告する。
- 公開エンコーダだけで作る転移可能な敵対的パッチ攻撃「TAPDreamer」
ロボット制御の基盤となるworld action modelに対し、公開エンコーダのみから固定パッチを作る攻撃TAPDreamerを提案。注意機構を通じた表現シフトの拡散を利用し、閉ループ評価で複数ベンチマークの成功率を大きく低下させた。
