視覚トークン
画像を小さな単位に区切って、モデルが扱える記号(データのかたまり)にしたもの。文章の単語のように、画像の情報を段階的に処理するために使う。
たとえば: 大きな写真をタイル状に分け、各タイルに番号を振って扱うイメージ。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- Mem4Act:長期ロボット操作に向けた固定サイズの潜在メモリ学習
Mem4Actは、長期のロボットマニピュレーションで必要な過去情報を、固定サイズの潜在メモリとして学習する枠組み。履歴の時間集約と、意味・知覚を補う監督、二段階学習で方策のメモリ利用を促すという設計を組み合わせる。
- Spark-0:触覚を事前学習と運用の両方に生かすロボット操作モデル
Spark-0は、触覚を(1)事前学習時の監督信号、(2)運用時の方策入力として併用するVTLAモデルを提案する。HumanTouch(1,000時間)とSparkArenaを整備し、複数ベンチマークで高い成功率・順位を報告している。
