視覚入力の符号化
画像などの視覚情報を、計算で扱いやすい数の並びに変換すること。変換のしかたで、理解のしやすさや処理の重さが変わる。
たとえば: 写真を文章で説明できる形に要約してメモにする感じ。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- マルチモーダル模型の「視覚エンコーダ」は何を担っているのかを切り分ける
視覚エンコーダが暗黙に束ねる要素を分解し、同一データと計算量を揃えた統制比較で影響を検証。視覚の事前学習よりも専用の視覚容量と配置が重要だと示唆する。
