サービング
学習済みのAIモデルを、利用者の要求に応じて実行し、結果を返す運用のこと。性能だけでなく、待ち時間や同時にさばける量も重要になる。
たとえば: 人気店で、注文を受けて料理を作り、提供まで回す「店舗オペレーション」みたいなもの。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- TideCache:ハイブリッドLLMの異種キャッシュを透過的に扱い、層単位ストリーミングでサービング効率を上げる提案
TideCacheは、ハイブリッド構成のLLMが持つ異種キャッシュのGPUメモリ配分と常駐管理を狙うサービング手法。固定仮想アドレスを保つキャッシュ管理と、層単位の事前フェッチを組み合わせ、SGLangで評価している。
