はじめに

最近、大規模言語モデル(LLM)の外部知識を活用する手法として、Retrieval-Augmented Generation (RAG)が注目を集めています。しかし、RAGにはいくつかの課題があります。今回は、RAGに代わる新しいアプローチとして提案されているCache-Augmented Generation (CAG)について解説します。

RAGの課題

RAGには以下のような課題があります：

検索の遅延が発生する
ドキュメント選択のエラーが起こりうる
システムの複雑性が高い

CAGとは

CAGは、これらの課題を解決する新しいアプローチです。主な特徴は：

事前に関連するリソースをLLMのコンテキストにプリロード
ランタイムパラメータをキャッシュ
推論時に追加の検索ステップが不要

特に、限定された知識ベースを扱うケースで効果を発揮します。

CAGの動作の仕組み

CAGは以下の3つのステップで動作します：

1. 外部知識のプリロード

関連文書をLLMの拡張コンテキストウィンドウに合わせて前処理
キー・バリュー（KV）キャッシュを生成
生成されたキャッシュをディスクまたはメモリに保存

2. 推論処理

ユーザーのクエリと事前計算されたKVキャッシュを使用
実時間の検索なしで回答を生成
検索遅延とエラーを防止

3. キャッシュのリセット

システムのパフォーマンスを維持するための効率的なキャッシュリセット
新しいトークンが追加された際の迅速な再初期化

実験結果と性能評価

研究チームはSQuADとHotPotQAデータセットを使用して、CAGと従来のRAGシステムの性能を比較しました：

BERTScoreによる評価で、CAGは多くのケースでRAGを上回る性能を示しました
特に検索エラーが発生しやすい状況での優位性が顕著
標準的なin-context学習と比較して、生成時間が大幅に短縮

RAGとCAGの比較

CAGの利点：

検索遅延の排除
検索エラーの最小化
システムの単純化

一方で、以下のような制約もあります：

コンテキストウィンドウのサイズに制限される
大規模な知識ベースには不向き

今後の展望

より大規模な知識ベースを処理できるLLMの発展に伴うCAGの可能性拡大
CAGとRAGを組み合わせたハイブリッドアプローチの研究
コンテキストの完全性と柔軟性を両立する新しい手法の開発

まとめ

CAGは、特定のユースケース（限定された知識ベース）において、RAGに代わる効率的な選択肢となる可能性があります。今後のLLMのコンテキストウィンドウの拡大に伴い、さらなる応用が期待されます。

👉 原文はこちらでご確認いただけます。