prefix
文章や列の先頭部分のこと。生成では、最初の数語(数文字)だけを先に作って、続きを作るか判断する材料にする。
たとえば: 長文を書く前に、出だしの数行だけ書いて方向性を確かめるようなもの。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- TideCache:ハイブリッドLLMの異種キャッシュを透過的に扱い、層単位ストリーミングでサービング効率を上げる提案
TideCacheは、ハイブリッド構成のLLMが持つ異種キャッシュのGPUメモリ配分と常駐管理を狙うサービング手法。固定仮想アドレスを保つキャッシュ管理と、層単位の事前フェッチを組み合わせ、SGLangで評価している。
- 推論の枝刈りをpass@$k$で最適化し、品質と多様性の両立を狙う手法
推論時に多数の候補解を作る手法では計算負荷が課題となる。著者らは短い途中経過(prefix)で候補を選別する際、pass@$k$を目的関数にして品質と多様性のトレードオフを直接最適化する枝刈りを提案した。8つのオープンウェイト推論モデルで既存法より良い性能を示したという。
