0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

圧縮KVキャッシュを下書きに使い、出力を変えず最大4倍にするVeriCache

0
Posted at

KVキャッシュを圧縮すると、短い応答ならほとんど気づかない。ところが長いコード生成やエージェントのツール呼び出しでは、途中から出力がじわじわ崩れて、最後には別物になる。この「短距離では無害、長距離では致命的」という性質が、KV圧縮を本番に持ち込むときの一番の悩みどころだった。

VeriCache という論文(arXiv:2605.17613、2026年5月)は、この問題を真正面から潰そうとするのではなく、発想を裏返して解く。圧縮したキャッシュを「答え」として使うのをやめ、あくまで下書きとして扱い、正解は非圧縮のキャッシュで答え合わせする。結果として、圧縮の速さを保ったまま出力は非圧縮とビット単位で同一になる、と主張している。

なぜ圧縮キャッシュは長文で壊れるのか

前提を一つだけ。Transformerの推論では、過去のトークンから計算した Key/Value を「KVキャッシュ」として貯めておき、次のトークンを出すたびに読み直す。これがあるおかげで毎回イチから計算せずに済むが、文脈が伸びるほどキャッシュはGPUメモリを食い、帯域を圧迫する。だからトークンを間引いたり(token dropping)、低ビットに量子化したりして小さくする。これがKV圧縮だ。

問題は、圧縮が生む微小な誤差が自己回帰で累積すること。あるステップで少しズレた注意分布が、次のステップの入力になり、その出力がまた次の入力になる。デコードが進むほど非圧縮の出力との乖離が広がり、コード生成やツール呼び出しのように「1トークンの誤りが全体を壊す」タスクで破綻する。これはVeriCacheに限らず、KVarN など複数の量子化研究が「誤差はシーケンス長とともに深刻化する」と独立に指摘している、既知の弱点だ。

圧縮キャッシュを「下書き」に格下げする

VeriCacheの中核は、投機的デコーディング(speculative decoding)をKVキャッシュの精度差に適用したことにある。手順は3段階だ。

概念的な擬似コード(論文の記述に基づく)
Draft : 圧縮キャッシュ KVcomp を使って、自己回帰で x 個の候補 t1..tx を生成
Verify: 非圧縮キャッシュ KVfull を条件に、x 位置を1回のforward passでまとめて検証
Accept: 最初に食い違う位置 j までを採用し、j は検証側の正解 tj* に差し替えて続行

普通の投機的デコーディングは「小さなドラフトモデル+大きな検証モデル」という別々の2モデルを使う。VeriCacheが面白いのは、同じモデルを二度使う点だ。片方は安くて雑な圧縮キャッシュを読み(速いが近似)、もう片方は正確な非圧縮キャッシュを読む(正確だが読み込みが重い)。圧縮キャッシュの出力が十分に近いので大半の下書きは採用され、たまに外れたところだけ非圧縮側が直す。検証は常に非圧縮キャッシュで行うため、最終出力は非圧縮デコードと必ず一致する。圧縮はもう精度ではなく速度だけに効く、という切り分けが効いている。

学習が不要なのも実務的にありがたい。EAGLE-3のようにドラフト用のヘッドを訓練する必要がなく、既存のtoken-dropping/量子化コンプレッサを共通インターフェースでそのまま挿せる。しかも従来型のドラフトモデルとも併用できる。

速さの正体は「詰まる場所が違う」こと

ここがこの論文の本当の勘所だと思う。下書きと検証は、ボトルネックが別の資源に乗っている。

工程 使うキャッシュ 律速
Draft(下書き) 圧縮KV(GPU HBM上) GPUのメモリ帯域
Verify(検証) 非圧縮KV(CPU/遠隔から読込) インターコネクト帯域とGPU FLOPs

逐次のベクトル×行列であるドラフトはGPUの演算をほとんど使わず帯域待ちになる。一方の検証は非圧縮キャッシュをGPUへ運ぶところが重い。ならば両者をロックステップで交互に走らせるのではなく、ずらして重ねれば資源が遊ばない。非圧縮キャッシュを裏で運んでいる間に、GPUは圧縮キャッシュで次の下書きを進められる。この重ね合わせが、offloadにありがちな「非圧縮キャッシュを読み終わるまでGPUが止まる」停滞を隠している。

想定シナリオは2つ。長文デコードでは非圧縮KVをCPUメモリに置き、圧縮KVをGPUに残す。もう一つは遠隔のprefixキャッシュ再利用で、速いローカルリンクから非圧縮KVを、遅い遠隔リンクから圧縮KVを流す。どちらもGPUメモリに全部を載せない前提で、この基盤づくりは同じ著者陣が関わるKV管理層 LMCache と vLLM の上に約8千行で実装されている。

数字で見る

Mistral-24B / Qwen-32B / Llama-70B で評価している。出力は非圧縮と同一のまま、スループットは次の通り。

  • 長文デコード: 非圧縮KV比で 1.92〜2.73倍(Llama-70Bで102→256 tok/s の例)
  • 遠隔prefixキャッシュ: 非圧縮KV比で 1.33〜2.11倍
  • 従来のドラフトモデルと併用: Qwen-32Bで 4.26倍

採用率も高く、4倍圧縮なら下書き長を30まで伸ばしても採用率は約0.8を保つ。採用長(1回の検証で通るトークン数)はQwen-32Bで約19、Llama-70Bで約23に達し、Eagleの11〜22や小型ドラフトモデルの約3を上回る。要は「1回の重い検証で、より長く下書きを通せる」ため、非圧縮キャッシュの読み込みコストを長い距離に薄められる。

何が嬉しくて、何に気をつけるか

エンジニア視点での持ち帰りはシンプルだ。これまでKV量子化は「品質が落ちるかもしれない」というリスクとのトレードオフだったが、VeriCacheの枠組みでは圧縮の役割が純粋に速度へ移る。長い文脈を扱うエージェントや、GPUメモリに全キャッシュを載せきれない長文推論で、精度を賭けずにスループットを取りにいける。既存コンプレッサをそのまま使えるので、乗り換えコストも小さい。

一方で無料ではない。非圧縮KVをCPUや遠隔に丸ごと保持するため、GPU外のストレージ消費は増える。下書き長はワークロードごとに固定で、動的な最適化は今後の課題として残る。そして著者自身が認めるように、既存コンプレッサは「直接出力の精度」を最大化するよう作られていて、「採用長」を最大化するようには設計されていない。採用長を狙って設計したコンプレッサが出てくれば、この手法の伸びしろはまだ大きい。

個人的に効くと感じたのは、圧縮を「信じる/信じない」の二択から外した点だ。速い近似は下書きに、遅い厳密は答え合わせに回す。投機的デコーディングが小型モデルでやってきたことを、同じモデルのキャッシュ精度でやる。offloadの停滞を消すための資源の重ね合わせも含めて、汎用性の高い設計の型だと思う。なお、現時点で公開リポジトリのURLは論文中に見当たらなかったので、実装を試すなら基盤のLMCache/vLLM側から追うのが現実的だ。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?