マルチモーダル
文章・画像など、種類の違う情報を同時に扱うこと。異なる形式の情報をつなげて理解・生成するために使われる。
たとえば: 文章と写真の両方を見比べて状況を判断する、という日常の理解に近い。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- マルチモーダル模型の「視覚エンコーダ」は何を担っているのかを切り分ける
視覚エンコーダが暗黙に束ねる要素を分解し、同一データと計算量を揃えた統制比較で影響を検証。視覚の事前学習よりも専用の視覚容量と配置が重要だと示唆する。
- マルチモーダルエージェントの長期対話向けメモリ枠組み「HiVe-Mem」:水平拡張と垂直合成
HiVe-Memは、長い対話履歴からの情報活用を狙い、関係グラフでの「水平」拡張と証拠形式の「垂直」合成を組み合わせる。3ベンチマークで性能改善を示し、トークン消費を約90%削減したと報告する。
- RynnUnify:身体性理解・長期視覚プランニング・ロボット制御をつなぐ統一モデルの提案
16BモデルRynnUnifyは、動画と言語を交えた推論で身体性理解と長期視覚プランニングを統合する。強化学習による拡張やロボット制御への展開、専用ベンチマークでの評価結果も報告された。
- 言語事前学習なしで学ぶText-to-Image:Halcyonが示した可能性
Halcyonは、100Mの画像-テキスト対からゼロから学習したT2Iモデル群。gFD比較と統制実験により、text-only事前学習がT2I改善に必須ではない可能性を示す。計算量効率と画像キャプショニング同時学習も論じる。
