KVキャッシュ
文章生成で、過去の計算の一部を保存して再利用し、同じ計算を繰り返さないようにする仕組み。主に速度やメモリ節約に関わる。
たとえば: 計算途中のメモを残しておき、次回は最初から解き直さないようにする。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 潜在空間で協調する「エージェント群れ」による進化的プログラム探索:SwarmEvolve
SwarmEvolveは、テキスト生成を介さず潜在空間で推論する多数エージェントがKVキャッシュを共有し、進化的探索を高速化する枠組みを提案する。21問題で平均スコア最高、60分相当の到達に中央値3〜8分と報告した。
- ループ型言語モデルを「固定点」から見直し、学習・推論・RLの効率化を狙う
ループ型言語モデルの反復計算を、固定点近傍では経路が重要でないという見方から捉え直す。truncated backpropagationやterminal KV sharing、蒸留によるprefill高速化、RLの勾配計算高速化を述べる。depth priorとinput injectionを改良し、100M〜1.6Bでperplexity低下を報告する。
