KVキャッシュを圧縮すると、短い応答ならほとんど気づかない。ところが長いコード生成やエージェントのツール呼び出しでは、途中から出力がじわじわ崩れて、最後には別物になる。この「短距離では無害、長距離では致命的」という性質が、KV圧縮を本番に持ち込むときの一番の悩みどころだった。
VeriCache という論文(arXiv:2605.17613、2026年5月)は、この問題を真正面から潰そうとするのではなく、発想を裏返して解く。圧縮したキャッシュを「答え」として使うのをやめ、あくまで下書きとして扱い、正解は非圧縮のキャッシュで答え合わせする。結果として、圧縮の速さを保ったまま出力は非圧縮とビット単位で同一になる、と主張している。
なぜ圧縮キャッシュは長文で壊れるのか
前提を一つだけ。Transformerの推論では、過去のトークンから計算した Key/Value を「KVキャッシュ」として貯めておき、次のトークンを出すたびに読み直す。これがあるおかげで毎回イチから計算せずに済むが、文脈が伸びるほどキャッシュはGPUメモリを食い、帯域を圧迫する。だからトークンを間引いたり(token dropping)、低ビットに量子化したりして小さくする。これがKV圧縮だ。
問題は、圧縮が生む微小な誤差が自己回帰で累積すること。あるステップで少しズレた注意分布が、次のステップの入力になり、その出力がまた次の入力になる。デコードが進むほど非圧縮の出力との乖離が広がり、コード生成やツール呼び出しのように「1トークンの誤りが全体を壊す」タスクで破綻する。これはVeriCacheに限らず、KVarN など複数の量子化研究が「誤差はシーケンス長とともに深刻化する」と独立に指摘している、既知の弱点だ。
圧縮キャッシュを「下書き」に格下げする
VeriCacheの中核は、投機的デコーディング(speculative decoding)をKVキャッシュの精度差に適用したことにある。手順は3段階だ。
概念的な擬似コード(論文の記述に基づく)
Draft : 圧縮キャッシュ KVcomp を使って、自己回帰で x 個の候補 t1..tx を生成
Verify: 非圧縮キャッシュ KVfull を条件に、x 位置を1回のforward passでまとめて検証
Accept: 最初に食い違う位置 j までを採用し、j は検証側の正解 tj* に差し替えて続行
普通の投機的デコーディングは「小さなドラフトモデル+大きな検証モデル」という別々の2モデルを使う。VeriCacheが面白いのは、同じモデルを二度使う点だ。片方は安くて雑な圧縮キャッシュを読み(速いが近似)、もう片方は正確な非圧縮キャッシュを読む(正確だが読み込みが重い)。圧縮キャッシュの出力が十分に近いので大半の下書きは採用され、たまに外れたところだけ非圧縮側が直す。検証は常に非圧縮キャッシュで行うため、最終出力は非圧縮デコードと必ず一致する。圧縮はもう精度ではなく速度だけに効く、という切り分けが効いている。
学習が不要なのも実務的にありがたい。EAGLE-3のようにドラフト用のヘッドを訓練する必要がなく、既存のtoken-dropping/量子化コンプレッサを共通インターフェースでそのまま挿せる。しかも従来型のドラフトモデルとも併用できる。
速さの正体は「詰まる場所が違う」こと
ここがこの論文の本当の勘所だと思う。下書きと検証は、ボトルネックが別の資源に乗っている。
| 工程 | 使うキャッシュ | 律速 |
|---|---|---|
| Draft(下書き) | 圧縮KV(GPU HBM上) | GPUのメモリ帯域 |
| Verify(検証) | 非圧縮KV(CPU/遠隔から読込) | インターコネクト帯域とGPU FLOPs |
逐次のベクトル×行列であるドラフトはGPUの演算をほとんど使わず帯域待ちになる。一方の検証は非圧縮キャッシュをGPUへ運ぶところが重い。ならば両者をロックステップで交互に走らせるのではなく、ずらして重ねれば資源が遊ばない。非圧縮キャッシュを裏で運んでいる間に、GPUは圧縮キャッシュで次の下書きを進められる。この重ね合わせが、offloadにありがちな「非圧縮キャッシュを読み終わるまでGPUが止まる」停滞を隠している。
想定シナリオは2つ。長文デコードでは非圧縮KVをCPUメモリに置き、圧縮KVをGPUに残す。もう一つは遠隔のprefixキャッシュ再利用で、速いローカルリンクから非圧縮KVを、遅い遠隔リンクから圧縮KVを流す。どちらもGPUメモリに全部を載せない前提で、この基盤づくりは同じ著者陣が関わるKV管理層 LMCache と vLLM の上に約8千行で実装されている。
数字で見る
Mistral-24B / Qwen-32B / Llama-70B で評価している。出力は非圧縮と同一のまま、スループットは次の通り。
- 長文デコード: 非圧縮KV比で 1.92〜2.73倍(Llama-70Bで102→256 tok/s の例)
- 遠隔prefixキャッシュ: 非圧縮KV比で 1.33〜2.11倍
- 従来のドラフトモデルと併用: Qwen-32Bで 4.26倍
採用率も高く、4倍圧縮なら下書き長を30まで伸ばしても採用率は約0.8を保つ。採用長(1回の検証で通るトークン数)はQwen-32Bで約19、Llama-70Bで約23に達し、Eagleの11〜22や小型ドラフトモデルの約3を上回る。要は「1回の重い検証で、より長く下書きを通せる」ため、非圧縮キャッシュの読み込みコストを長い距離に薄められる。
何が嬉しくて、何に気をつけるか
エンジニア視点での持ち帰りはシンプルだ。これまでKV量子化は「品質が落ちるかもしれない」というリスクとのトレードオフだったが、VeriCacheの枠組みでは圧縮の役割が純粋に速度へ移る。長い文脈を扱うエージェントや、GPUメモリに全キャッシュを載せきれない長文推論で、精度を賭けずにスループットを取りにいける。既存コンプレッサをそのまま使えるので、乗り換えコストも小さい。
一方で無料ではない。非圧縮KVをCPUや遠隔に丸ごと保持するため、GPU外のストレージ消費は増える。下書き長はワークロードごとに固定で、動的な最適化は今後の課題として残る。そして著者自身が認めるように、既存コンプレッサは「直接出力の精度」を最大化するよう作られていて、「採用長」を最大化するようには設計されていない。採用長を狙って設計したコンプレッサが出てくれば、この手法の伸びしろはまだ大きい。
個人的に効くと感じたのは、圧縮を「信じる/信じない」の二択から外した点だ。速い近似は下書きに、遅い厳密は答え合わせに回す。投機的デコーディングが小型モデルでやってきたことを、同じモデルのキャッシュ精度でやる。offloadの停滞を消すための資源の重ね合わせも含めて、汎用性の高い設計の型だと思う。なお、現時点で公開リポジトリのURLは論文中に見当たらなかったので、実装を試すなら基盤のLMCache/vLLM側から追うのが現実的だ。