CPU--GPU superchips
CPUとGPUを強く一体化した高性能な計算装置のこと。CPUとGPUの間でデータをやり取りしやすくする設計が重視される。
たとえば: 工場の事務所(CPU)と作業場(GPU)が同じ建物に統合され、行き来が短くなる感じ。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- TideCache:ハイブリッドLLMの異種キャッシュを透過的に扱い、層単位ストリーミングでサービング効率を上げる提案
TideCacheは、ハイブリッド構成のLLMが持つ異種キャッシュのGPUメモリ配分と常駐管理を狙うサービング手法。固定仮想アドレスを保つキャッシュ管理と、層単位の事前フェッチを組み合わせ、SGLangで評価している。
