SHIRITAS

論文 / arXiv:2611.17330

ProtoVis-Nav: Prototypical Visual Imagination for Visual-Spatial Aligned UAV Navigation

PLAIN SUMMARY / やさしい要約

ドローンに「言葉の指示どおりに動いて」と頼んでも、次にどこへ行けばいいかを正確に決めるのは難しいことがあります。そこでこの研究は、ドローンが次に進む場所が“どんな見え方になりそうか”を先に想像してから動きを決める方法を提案します。たとえば、目的地に向かう前に地図の一部を頭の中で思い浮かべてから歩き出すようなイメージです。提案手法は実験で、従来の方法より良い結果が出たと報告されています。

AIが専門用語を使わずに書いた解説です。内容の正確さは、下の原文の要旨で確認してください。

ABSTRACT / 要旨(原文)

Vision language navigation (VLN) is very challenging for Unmanned Aerial Vehicles (UAVs) since small errors in 3D motion prediction can lead to navigation errors and collisions. Unable to fathom execution outcomes in 3D environments, existing methods often struggle to predict accurate navigation waypoints from language instructions. To solve this, we introduce the Prototypical Visual Imagination framework, shortened as ProtoVis-Nav, which forces the model to imagine an outcome-associated local visual representation for the intended next UAV movement. Specifically, we predict feature prototypes and use their linear combination to estimate the visual feature of the target region. In this manner, the VLN model first imagines the local visual representation of the next intended location, and then uses predicted prototypes as context for generating the final action, promoting alignment between visual context and waypoint outputs. Extensive experiments demonstrate the effectiveness of the ProtoVis-Nav framework and show substantial improvements over existing baselines.

ここに表示しているのは原論文の要旨です。AIによる要約や解釈は含みません。

この論文を取り上げた記事