video diffusion transformer
ノイズから少しずつ整えていく方法で動画を生成・補完するモデルで、Transformerを使って時間方向のつながりも扱う。滑らかな連続性のある映像を作りやすい。
たとえば: ぼやけた動画を、少しずつピントを合わせるようにクリアにしていく。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- P$^{3}$-WAM:一つのモデルで「見る・予測する・計画する」を統合する器用操作向け手法
P$^{3}$-WAMは、エゴセントリックな器用操作に向けて、3D知覚・行動条件付き予測・目標指向計画を単一モデルに統合する。動画拡散Transformerへ3D行動表現を組み込み、3モード学習で能力を伸ばすと報告する。
