AIに長い資料を読ませて答えを作らせると、思ったよりお金がかかる。理由は単純で、質問のたびに同じ資料を丸ごと読み直すからだ。読みながら要点をメモしておけば、次からは安く答えられる。その当たり前の工夫を仕組みにした研究が、資料を扱うAIの運用費を下げようとしている。
目次
- 毎回ぜんぶ読み直すから高い
- 読みながら要点カードをためる
- コストは半分、正答率はそのまま
💸 毎回ぜんぶ読み直すから高い
AIエージェント(自分で調べて答えを作るAI)は、質問されると関係しそうな文書を開いて読む。ただ、次の質問でも、その次でも、また同じ長い文書を開いて読み直す。研究チームは、1つの質問に最大100万トークンを使う例を挙げる。
トークンとは、ひとことで言うと、AIが読み書きする文字のかたまりのこと。処理量とお金の単位でもある。だから読む量が、そのまま費用になる。
もし資料が最初から表の形に整っていれば、答えは一瞬の検索で済む。研究チームの見立てでは、その理想形ならコストは最大28倍安い。とはいえ、あらゆる資料を前もって全部整えるのは手間がかかりすぎて、現実には割に合わない。ここが出発点になる。
🗂️ 読みながら要点カードをためる
新しいやり方は、読むついでに少しずつ片づけるという考え方だ。元になったのは20年近く前にデータ分野で生まれた「データベースクラッキング」。探し物のついでに、その周りだけ整理していく仕組みで、当時の中心人物の一人が今回の論文にも名を連ねる。部屋を全部片づけず、よく物を探す一角だけ整えるイメージに近い。
やっていることはこうだ。エージェントが文書を開いて読むとき、その内容を使って裏方の担当が要点を抜き出す。人名や数値、ものごとの関係といった「使いそうな事実」をカードにして保存する。すでに読み込んだ内容を使い回すので、この作業の追加コストはわずかで済む。次の質問は、まずカードを調べ、無ければ元の文書に戻る。
これまで: 質問 → 長い文書をぜんぶ読む → 高い
今回: 質問 → 読むついでに[要点カード]を作る → 次はカードを見るだけ → 安い
矢印は処理の流れを表す。角かっこの[要点カード]は、文書から抜き出して保存した事実のメモのこと。一度カードにしておけば、似た質問が来ても文書を開き直さずに答えられる。
📉 コストは半分、正答率はそのまま
ウィキペディアをまたいで答える質問の試験(FanOutQA)では、1問あたりの費用が0.26ドルから0.12ドルに下がった。ざっと半分だ。読み込む量も半分以下になった。しかも答えの正しさはほぼ変わらず、統計的な差は出なかった。相性の良い質問に絞ると、最大9倍安くなった例もある。
ここは冷静に見たい。前もって全部整えた理想形なら28倍だが、この手法が実際に届いたのは平均で2倍ほど。誇張せず「まだ天井までは遠い」と正直に示した点を、私は実務者として評価する。効くのは、質問どうしが同じ人物やものごとを共有して、あとからカードを使い回せる場合だ。毎回まったく違う一問だけなら、先読みのメモは無駄になりうる。そこを見極めて使う技術だ。
✅ 今日覚えること
資料を読むAIは、同じものを読み直すたびにお金を払っている。読みながら要点をためて使い回せば、その多くを節約できる。文書を扱うAIを自分で組む人は、抜き出した事実を保存して次に使う設計を一度試すとよい。まずは論文の最初の図を眺めるだけでも、狙いはつかめる。
論文(一次ソース): Token-Efficient Data Reasoning Agents via Adaptive Structuring of Unstructured Data
発想の元になった考え方は、こちらが分かりやすい。Database Cracking(CWIによる解説)
※本記事は一次情報の調査をAIが行い、事実確認のうえ執筆・公開しています。