SHIRITAS

/TOPICS

マルチモーダル

画像・動画・音声など、複数の種類のデータを一緒に扱うAIの研究。

01記事

ロボティクス・身体性 / 2026-11-15

UAV向けVLNで「次の移動先の見え方」を想像させる枠組みProtoVis-Nav

UAVのVision-Language Navigationで、次の移動に対応する局所的な視覚表現を“想像”させるProtoVis-Navを提案。feature prototypesを予測し線形結合でターゲット領域の特徴を推定、行動生成時の文脈として用いる。実験でベースラインより改善を示した。

マルチモーダル / 2026-11-14

マルチモーダル模型の「視覚エンコーダ」は何を担っているのかを切り分ける

視覚エンコーダが暗黙に束ねる要素を分解し、同一データと計算量を揃えた統制比較で影響を検証。視覚の事前学習よりも専用の視覚容量と配置が重要だと示唆する。

マルチモーダル / 2026-11-13

分子相互作用の基盤モデル「Bonbon」は配列ペアだけの事前学習でゼロショット能力を示すと報告

タンパク質‐リガンド配列ペアを大規模に学習した基盤モデルBonbonが、機能・結合部位・結合様式の3階層でゼロショット能力を示すと報告。最大規模で能力が急に伸び、損失だけでは出現時期を読めない可能性も示された。

LLM / 2026-11-11

マルチモーダルエージェントの長期対話向けメモリ枠組み「HiVe-Mem」:水平拡張と垂直合成

HiVe-Memは、長い対話履歴からの情報活用を狙い、関係グラフでの「水平」拡張と証拠形式の「垂直」合成を組み合わせる。3ベンチマークで性能改善を示し、トークン消費を約90%削減したと報告する。

ロボティクス・身体性 / 2026-10-31

短い動画から先の行動列を予測する「SymAnt」:シンボリック文脈を“事前の手がかり”として使う

SymAntは短い動画から、シーングラフと知識グラフのjoint-searchでシンボリック文脈を構築し、将来の行動列を反復的に生成・改善する手法。短い観測でも長期予測を行い、知識編集で追加学習なしに予測調整できる点をうたう。

ロボティクス・身体性 / 2026-10-30

ThinkWorld:人間動画も生かすために、世界の変化に基づいて行動を学ぶVLA枠組み

ロボット操作VLAの一般化が、行動ラベル付き実演データの網羅性に縛られる課題に対し、ThinkWorldは世界ダイナミクスと“想像”を使って学習を進める。CoDという共通表現で、人間動画とロボット経験を同じ推論空間で扱うことを狙う。

ロボティクス・身体性 / 2026-10-28

接触力も扱うヒューマノイド動作学習「FLORE」:両手と全身の協調を狙う枠組み

FLOREは、接触力と動作を同時に扱うヒューマノイドのloco-manipulationを学習する枠組み。ロボットフリー実演で力情報を集め、拡散方策が手ごとの力指令まで予測し、全身制御で実行する。実機の接触リッチタスクで成功率80%を報告する。

AI Agent / 2026-10-27

RynnUnify:身体性理解・長期視覚プランニング・ロボット制御をつなぐ統一モデルの提案

16BモデルRynnUnifyは、動画と言語を交えた推論で身体性理解と長期視覚プランニングを統合する。強化学習による拡張やロボット制御への展開、専用ベンチマークでの評価結果も報告された。

マルチモーダル / 2026-10-21

Ropedia W0:人間とロボットをまたぐ「移動+操作」の世界モデルを目指す研究

人間と複数ロボットのエゴセントリックデータを統一表現で学習し、移動と操作を同時に予測する世界モデルRopedia W0を提案する。10k時間(人)+3k時間(ロボ)のデータセットと長時間ベンチマークを整備し、複数ベンチマークでSOTAと報告している。

マルチモーダル / 2026-10-21

言語事前学習なしで学ぶText-to-Image:Halcyonが示した可能性

Halcyonは、100Mの画像-テキスト対からゼロから学習したT2Iモデル群。gFD比較と統制実験により、text-only事前学習がT2I改善に必須ではない可能性を示す。計算量効率と画像キャプショニング同時学習も論じる。

マルチモーダル / 2026-10-19

複雑な条件を分解して点数化する「視覚検証器」を提案:OmniVerifier-C1

OmniVerifier-C1は、複雑な要求やルールを要素分解し各要素を連続スコアで評価する視覚検証器を提案する。解釈可能な出力で汎化を狙い、学習にDecoupled RLを用いる。

マルチモーダル / 2026-10-17

Spark-0:触覚を事前学習と運用の両方に生かすロボット操作モデル

Spark-0は、触覚を(1)事前学習時の監督信号、(2)運用時の方策入力として併用するVTLAモデルを提案する。HumanTouch(1,000時間)とSparkArenaを整備し、複数ベンチマークで高い成功率・順位を報告している。

マルチモーダル / 2026-10-17

P$^{3}$-WAM:一つのモデルで「見る・予測する・計画する」を統合する器用操作向け手法

P$^{3}$-WAMは、エゴセントリックな器用操作に向けて、3D知覚・行動条件付き予測・目標指向計画を単一モデルに統合する。動画拡散Transformerへ3D行動表現を組み込み、3モード学習で能力を伸ばすと報告する。

ロボティクス・身体性 / 2026-10-17

家庭向けロボットの「好み」を測るベンチマークLIBERO-PeRM

LIBERO-PeRMは、ロボット操作における「タスク達成」と「嗜好満足」を分けて評価するためのベンチマーク。観測可能な嗜好を分類し、嗜好あり/なしのペアデモと312タスクを提供する。実験ではゼロショットの個人化が難しく、SFTで嗜好が学習可能になると報告する。

LLM / 2026-10-15

長時間タスク向けデータセット「Tev-Gym」と進捗報酬PPRSで学習するエージェントモデルTev-27B

長時間タスク用の学習データ不足と疎な報酬を課題に、Tev-Gymと進捗を密な報酬へ変換するPPRSを提案。レシピで学習したTev-27Bが複数ベンチマークで改善を示したと報告する。

ロボティクス・身体性 / 2026-10-15

LoopWAM:デプロイ後の混合品質ロールアウトからロボット方策を改善する枠組み

LoopWAMは、成功から失敗まで混ざった実環境ロールアウトをそのまま学習に使い、クローズドループで汎用ロボット方策を改善するworld-action modelを提案する。行動学習と世界モデル化を統合し、品質に応じて模倣を調整する。複数ベンチマークで成功率の向上が報告されている。

LLM / 2026-10-06

デモ動画を階層化して必要部分だけ参照する「RV-ICL」:LLMエージェントの計画と実行を支える提案

LLMエージェントがデモ動画をそのまま抱え込まず、把持・リリースなどのサブイベントに基づく階層として必要箇所だけを読み出すRV-ICLを提案。RPent上でLIBERO-PROとLIBERO-Plusの成功率向上が報告された。

02論文

2026-11-12
2611.17330

ProtoVis-Nav: Prototypical Visual Imagination for Visual-Spatial Aligned UAV Navigation

2026-11-12
2611.17334

Unbundling Multimodal Vision Encoding

2026-11-10
2611.14504

Emergent Biological Capabilities in a Foundation Model for Molecular Interactions

2026-11-09
2611.12872

HiVe-Mem: Interleaving Horizontal Memory Expansion and Vertical Evidence Composition for Multimodal Agents

2026-10-29
2610.40632

SymAnt: Grounding Long-Horizon Action Anticipation with Adaptable Symbolic Priors

2026-10-27
2610.37666

ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning

2026-10-26
2610.35862

Learning Force-Reactive Humanoid Loco-Manipulation

2026-10-23
2610.32965

RynnUnify: Towards Unified Embodied Brain

2026-10-19
2610.26863

Text-to-Image Generative Modeling Without Language Pretraining

2026-10-19
2610.26855

Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience

2026-10-15
2610.22342

Spark-0: Scaling Spatially Aligned Tactile Pretraining for Robot Dexterous Manipulation

2026-10-15
2610.22372

LIBERO-PeRM: Benchmarking Personalized Robotic Manipulation

2026-10-15
2610.22355

OmniVerifier-C1: Decomposed Graded Verifier for Rule-Governed Generative World Modeling

2026-10-15
2610.22363

Perceive, Predict, and Plan: a Unified World Action Model for Egocentric Dexterous Manipulation

2026-10-13
2610.18868

Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rewards

2026-10-13
2610.18873

LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rollouts

2026-10-05
2610.06843

Recursive Video In-Context Learning for Agentic Robot