SHIRITAS

用語集

global-attention層

入力全体のどの部分同士が関係するかを広く参照して計算する層のこと。広い範囲を見る分、計算やメモリの負担が大きくなりやすい。

たとえば: 文章全体を見渡して、前の段落の話も参照しながら要約する作業に近い。

AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。

この言葉が出てくる記事