global-attention層
入力全体のどの部分同士が関係するかを広く参照して計算する層のこと。広い範囲を見る分、計算やメモリの負担が大きくなりやすい。
たとえば: 文章全体を見渡して、前の段落の話も参照しながら要約する作業に近い。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- TideCache:ハイブリッドLLMの異種キャッシュを透過的に扱い、層単位ストリーミングでサービング効率を上げる提案
TideCacheは、ハイブリッド構成のLLMが持つ異種キャッシュのGPUメモリ配分と常駐管理を狙うサービング手法。固定仮想アドレスを保つキャッシュ管理と、層単位の事前フェッチを組み合わせ、SGLangで評価している。
