ホストメモリ
GPUではなく、CPU側(ホスト側)にあるメインメモリ(RAM)のこと。GPUメモリより容量が大きい一方、GPUからの読み書きは一般に遅くなりやすい。
たとえば: 作業台(GPUメモリ)が狭いので、材料を倉庫(ホストメモリ)にも置くようなイメージ。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- TideCache:ハイブリッドLLMの異種キャッシュを透過的に扱い、層単位ストリーミングでサービング効率を上げる提案
TideCacheは、ハイブリッド構成のLLMが持つ異種キャッシュのGPUメモリ配分と常駐管理を狙うサービング手法。固定仮想アドレスを保つキャッシュ管理と、層単位の事前フェッチを組み合わせ、SGLangで評価している。
