0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

「文脈を足せば賢くなる」は、半分ウソだった

0
Posted at

この記事は、自社ブログの LYR Performance Note #015 に掲載したものの転載です。

RAG・文脈注入で埋まるのは"知識不足"だけ——"読解の容量不足"は、答えを目の前に置いても埋まらない

「文脈を足せば賢くなる」は、半分だけ本当だった。

埋まるのは調べれば分かる穴だけだ。話者・固有名・省略主語は文脈で埋まった(13-0)。だが深い読解と語り口は、答えを目の前に置いても埋まらない——そこは器(容量)の問題で、材料の問題ではない。

本番同型の総当たりでは、文脈をどう入れても27Bへの敗北率は 76% / 75% / 76% と動かなかった。しかもいちばん高い手(学習で焼く)は、いちばん安い手(その場で貼る)を超えられなかった(出力94%一致)。自分の問題がどちらの半分かは、投資する前に見分けられる。

「モデルが賢くないなら、文脈を足せばいい」——これは、いまのAI開発でいちばん人気のある処方箋だ。RAG(検索してきた資料をプロンプトに一緒に渡す仕組み)も、この発想の延長にある。前後の情報を与えれば、モデルは"文脈を読んで"正しく答える、と。

私もそう思っていた。字幕翻訳で、小さな自前モデル(8B=パラメータ80億)が、巨大モデル(27B=270億)に読解で負ける。ならば前後のセリフを一緒に渡せば、小さいモデルも追いつくのではないか——投資する前に、測った。

結果は、きれいに半分に割れた。半分は本当で、半分はウソだった。そして、そのウソを見抜けなければ、無駄な学習投資に何週間も注ぎ込むところだった。しかも——自分の問題がどちらの半分かは、投資する前に見分けられる。調べれば分かる穴なら文脈で安く埋まり、読解の器の不足ならサイズにしか効かない。この切り分けが、RAGに賭けるかモデルに賭けるかを決める。

まず——文脈は、たしかに効いた

最初の実験は、上界を測ることだった。「もし文脈が完璧なら、小型モデルはどれだけ良くなるか」。話者の性別、固有名の正しい読み、省略された主語——場面の状態を全知の状態で用意し、完璧な文脈を渡した版と、渡さない現行版を、同じ8Bモデルで対決させた。

判定はpairwise(2つの訳を並べ、どちらが良いかを1件ずつ選ぶ方式。総合点を付けるより符号がぶれない)。あるドラマ4話・86件で測った結果——

完璧な文脈あり 40勝 / なし 22勝 / 24分。決着ベース(引き分けを除いた分母)で65%、統計的に有意(p≈0.03)。文脈は、たしかに効いた。ここまでは処方箋どおりだ。

——でも、"効いた中身"を分解すると

問題はここからだった。何が効いたのかを、軸ごとにばらして数え直した。

効いた軸 勝敗
話者の性別(俺/私・口調) 8-0
固有名(読み・音写の固定) 3-0
省略主語の復元(誰が誰に) 2-0
— 合計(clean) 13-0(p≈0.0001)
場面に合った語り口(register) 4-4(引き分け)
語の選択 7-10(むしろ逆効果)
意味の正誤(否定・逆転) 0-1(動かず)

(軸は網羅ではなく、1件が複数の軸に該当することもある。だから各軸を足しても、全体の40勝/22敗とは一致しない。)

見てのとおり、効いたのは上の3軸——話者の性別・固有名・省略主語——に、ほぼ全部が凝縮していた。そして、この3つには共通点がある。どれも「調べれば分かること」だ。誰が喋っているか、その名前はどう読むか、省略された主語は誰か。台本を見れば載っている、知識の穴だ。

一方、場面の語り口(register)は引き分け、意味の正誤は動かなかった。文脈という材料を目の前に置いても、8Bはそれを訳し分けられない。ここは知識の穴ではなく、読解と表現の器の問題だった。

ちなみに、少し前まで私は「文脈は効かない/互角だ」と結論していた。それは貧しい文脈を、ぶれる採点で測っていたからだ。効く成分(性別)と効かない成分(語り口)を1つの総合点に混ぜると、互いに打ち消し合って"互角"に見える。軸を分解して初めて、13-0という符号が見えた(マニフェスト第1原則「まず計測せよ」——測り方まで含めて)。

本丸——文脈で、小型は巨大に追いつくか

上界実験は「完璧な文脈なら効く軸がある」と教えてくれた。では実務の問い——前後のセリフを渡せば、8Bは27Bに追いつくのか。ここが投資判断の分かれ目だ。

マンガ434件・日本語→英語で、自前8Bと巨大27Bを戦わせた。本番とまったく同じプロンプト形式、生成のランダムさはゼロに固定(temp0=毎回同じ答えが出る条件。実験の変数を濁さないため)。そのうえで、文脈の入れ方だけを3通りに変え、他をすべて同条件にそろえて比べた:

  • A:文脈なし(現行)
  • B:文脈をその場でプロンプトに注入
  • C:文脈を"学習"で焼き込む(context-aware CPO=文脈付きで好みを学ばせた版)

そして、それぞれを27Bと対戦させ、27Bへの敗北率(引き分けを除いた決着ベース)を見た。

27Bへの敗北率は、文脈なし76%・プロンプト注入75%・文脈を学習76%と、文脈の入れ方を変えても動かない

図1:27Bへの敗北率は、文脈の入れ方で動かない。文脈なし76% / プロンプト注入75% / 文脈を学習76%。どう入れても差はびくとも動かなかった。
注:マンガ434件・temp0・決着ベース(引き分けを除く)。

文脈なし76% → プロンプト注入75% → 文脈を学習76%(この総当たりはすべて同一のtemp0 run)。文脈をどう入れても、27Bとの差はびくとも動かなかった。この温度0の決着ベースでは、8Bが27Bに"強く勝った"件数は、3条件を通じてゼロだった。

答えが目の前にあっても、使えない

なぜ動かないのか。文脈を実際に渡して再生成した版(プロンプト注入)の出力を並べて、腑に落ちた。8Bは、正しい文脈が目の前にあっても、それを使いこなせない。以下はいずれも、その文脈込みの出力だ。

  • 「太陽に溶かされて」(直前のセリフ=翼の詩、が渡してある)→ 8Bは主語を取り違えて "I'd be melted"、27Bは正しく "they melt"。
  • 「天文部を頼む」(文脈=お前に)→ 8Bは方向を逆に訳し、27Bは正しく "I want you to help"。
  • 「相川仁」→ 8Bは読みを外して "Masaru"、27Bは "Jin"。

材料(文脈)は同じように渡してある。それでも差が出る。つまり——文脈を"使う"力そのものが、モデルの容量に律速されている。知識を目の前に置いても、それを読み解く器が足りなければ、使えないのだ。

だめ押しの兆候もあった。長い文脈を渡すと、8Bは出力フォーマットが崩れた件数が19件(27Bは4件)。器の限界は、正確さだけでなく、こういう頑健性の低下としても顔を出す。

「学習で焼く」は、「その場で渡す」を1ミリも超えなかった

最後に、いちばんお金のかかる選択肢——文脈を学習で焼き込む(C)——を検証した。その場でプロンプトに入れる(B)のではなく、文脈付きのデータで好みを学ばせれば、文脈をもっと上手に使えるようになるのでは、という期待だ。

結果は、身も蓋もなかった。学習した版(C)と、その場で渡す版(B)は、temp0での出力が94%一致(差はわずか6%、しかも些末)。256組の教材でわざわざ学習させても、プロンプトにその場で貼り付けるのと、実質同じだった。→ この学習は不採用。

文脈エンジニアリングは必要だ。でも、それは「プロンプトにその場で渡す」で十分であって、学習で焼き込む価値はなかった。そして何より——文脈をどう工夫しても、8B単体では27Bに届かない。この差を閉じるのは、文脈ではなく、モデルの器(より大きなbase)の側の仕事だった(マニフェスト第2原則・まだ、安く・速くできる——ここでは"文脈だけを最適化するな"。律速は文脈でなく器の側だった)。

教訓

  1. 文脈で解けるのは"知識不足"、理解の壁は"容量"。 話者・固有名・省略主語のような「調べれば分かる穴」は、文脈やRAGで埋まる(13-0で有意)。だが深い読解や語り口は、材料を渡しても埋まらない——モデルの器が要る。RAGは前者の特効薬で、後者には効かない。両者を切り分けてから投資する。

  2. 効く成分と、容量律速を、混ぜて測るな。 効く軸(性別8-0)と効かない軸(語り口4-4)を1つの総合点に混ぜると、打ち消し合って"互角"に見え、符号を読み違える。軸を分解して初めて、何が効いて何が効かないかが見える(マニフェスト第1原則)。実際、混ぜて測って一度「文脈は効かない」と誤結論した。

  3. いちばん高い選択肢が、いちばん安い選択肢を超えないこともある。 文脈を学習で焼くのは、プロンプトに貼るのを94%一致で超えられなかった。しかも知識を渡しても、読めなければ使えない——8Bは正しい文脈が目の前にあっても主語と固有名を外した。安い手と高い手を、投資の前に同じ土俵で測る。

文脈を足せば賢くなる——は、半分だけ本当だ。埋まるのは「調べれば分かる穴」。理解の壁は、結局モデルの容量であり、賢さだけを追ってもリアルタイムでは使えないのと同じで、文脈だけを追っても、器の壁は越えられない。


付録:生データ

本文で触れていない測定条件・判定手法・別runとの照合のみ。

実験 結果 条件・留保
上界実験(完璧な文脈 vs なし) 40勝 / 22敗 / 24分、p≈0.030 ドラマ4話・8B-SFT・temp0・pairwise、n=86。4話すべて同方向
軸分解(効いた側) gender 8-0 + name 3-0 + subject 2-0 = 13-0(p≈0.0001) spot-check済(俺→私・音写固定・主語補完)
軸分解(効かない側) register 4-4 wash/word-choice 7-10(やや逆効果)/polarity 0-1 1件が複数軸に重複しうるため、合計は上界の40/22と一致しない
本丸の総当たり(temp0) 27Bへの敗北率=文脈なし 76% / プロンプト注入 75% / 文脈学習 76% マンガ434件・本番テンプレ一致・pairwise。同一runで8Bの強勝ち=0
別runとの照合 生の勝敗 n=419 → 決着ベース 76% temp0 runと独立に一致。強勝ち0/3の食い違いはrunの違い
学習は注入を超えない 学習とその場注入が temp0 で出力94%一致 → 不採用 context-aware CPO 256組。文脈の素の効果 72:57(56%)だが27Bも同様に助かる
フォーマット頑健性 8Bは長文脈でJSON破損 19件(27B 4件) 長文脈のコストは品質だけではない

本文の出力例(「太陽に溶かされて」「天文部を頼む」「相川仁」)は、いずれもプロンプト注入で再生成した版の出力。


シリーズ「モデル — 小さく、速く、賢く」第5回の記事です。原文と続きは LYR Performance Note #015 / 記事一覧 にあります。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?