mixture-of-transformers構成
複数のTransformer(文章や画像などの並びデータを扱うモデル)を用意し、状況に応じて使い分けたり組み合わせたりする設計。1つだけで全部を賄うより役割分担できる。
たとえば: 得意分野の違う複数の専門家チームに、仕事を振り分ける。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- P$^{3}$-WAM:一つのモデルで「見る・予測する・計画する」を統合する器用操作向け手法
P$^{3}$-WAMは、エゴセントリックな器用操作に向けて、3D知覚・行動条件付き予測・目標指向計画を単一モデルに統合する。動画拡散Transformerへ3D行動表現を組み込み、3モード学習で能力を伸ばすと報告する。
