Transparent Cache Pool
利用側からは仕組みの違いを意識せずに使えるキャッシュの仕組みを指す呼び名。内部でデータの置き方を変えても、外からの見え方や使い方が変わらないのが特徴。
たとえば: 引き出しの中の仕切りを入れ替えても、外からは同じ引き出しとして使える収納。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- TideCache:ハイブリッドLLMの異種キャッシュを透過的に扱い、層単位ストリーミングでサービング効率を上げる提案
TideCacheは、ハイブリッド構成のLLMが持つ異種キャッシュのGPUメモリ配分と常駐管理を狙うサービング手法。固定仮想アドレスを保つキャッシュ管理と、層単位の事前フェッチを組み合わせ、SGLangで評価している。
