概要
質問と回答の間に、意味のない文字列（フィラートークン）を挟むと、LLMの正解率が上がることが報告されています。
これを音韻検索タスクに適用するとどうなるのかを検証しました。今回の実験条件では、音韻検索の有意な精度向上を確認できませんでした。
背景
LLMは多様な自然言語処理のタスクを高精度にこなせますが、音韻が関係するタスクは相対的に不得意なように見受けられます。これまでの音韻検索の実験では、reasoningを有効にすることで、LLMの音韻検索能力が大きく向上しました。
そこで、思考過程を文章として生成せずにフィラートークンを挿入する方法でも、音韻検索能力が向上するかを調べました。フィラートークンは、ドットなどの意味のないトークンのことです。質問と回答の間に置くと、数学の問題で正解率が上がると報告されています。joisinoさんの解説が参考になります。
その仕組みについて、Brauerらの論文では、対象モデルのフィラー位置の内部表現に途中の計算結果に関する情報が保持され、回答時にattentionを通じて参照されることが示されています。つまり、思考過程を文章として出力しなくても、内部では途中の値を利用した計算が進んでいる可能性があります。reasoning、つまり、表層言語による思考で音韻検索能力が向上するなら、フィラートークンを用いた表層言語によらない思考ではどうなるか、が気になりました。
方法
比較条件
問題の指示文にフィラートークンを加え、reasoningなしのLLMに与えて出力を評価しました。比較する条件は次の3つです。
- フィラートークンなし
- 空白で区切った数列
1 2 3 … 100を挿入 - 空白で区切ったピリオド100個（
. . . . …）を挿入
モデルには、gpt-6-luna と gpt-6.1-terra を使い、temperatureは0にしました。これらのモデルを選定した理由は、OpenAI APIで reasoning_effort=none を指定できるもののなかで最新のモデルだったためです。工数と費用の制約により、一部、実施していない組み合わせがあります。
タスク
まず、原典の公開算術タスクでフィラートークンの効果を確かめ、次に音韻検索で検証しました。
算術
Greenblatt氏の報告と公開実装に従い、Gen-Arithmeticという算術タスクを使いました。加減乗除などを組み合わせた式の値を求め、整数で答えるタスクです。
公開されている3,000問から、例示用の問題を除いた600問を固定して評価しました。プロンプトには、原実装と同じ方法で選んだ10問の解答例を与えました。
音韻検索
音韻検索には、「〇〇で歌ってみた」形式の替え歌から作られた音韻類似単語検索ベンチマークを使いました。
このベンチマークでは、元の歌詞に対応する表現をクエリとし、替え歌で使われた単語を正解とします。モデルには正解を含む100個の候補を提示し、発音が似ているものを上位10件まで選ばせます。指標は、各問のRecall@10を平均した値です。
ベンチマーク付属のサンプルでは、指示文に例示を1問だけ含めていましたが、算術に例示数を合わせるため、9例を追加して10-shotにしました。両モデルで同じ例示を使い、追加例の9問は除外して、141問で比較しました。
結果
算術タスク
公開算術タスクでの追試結果です。
| モデル | フィラー | フィラーなし | フィラーあり | 改善幅 | 差の95%信頼区間 |
|---|---|---|---|---|---|
| GPT-6 Luna | 数列1〜100 | 19.17% | 21.17% | ＋2.00ポイント | −1.00〜＋5.00ポイント |
| GPT-6.1 Terra | 数列1〜100 | 82.33% | 95.00% | ＋12.67ポイント | ＋10.00〜＋15.50ポイント |
| GPT-6.1 Terra | ピリオド100個 | 82.33% | 93.17% | ＋10.83ポイント | ＋8.00〜＋13.67ポイント |
Lunaでは正解率が少し上がりましたが、差の信頼区間は0をまたいでいます。
Terraでは数列で12.67ポイント、ピリオドで10.83ポイントの有意な改善が見られました。
音韻検索
音韻検索のRecall@10です。
| モデル | フィラー | フィラーなし | フィラーあり | 改善幅 | 差の95%信頼区間 |
|---|---|---|---|---|---|
| GPT-6 Luna | 数列1〜100 | 52.78% | 52.78% | 0.00ポイント | −4.91〜＋4.91ポイント |
| GPT-6 Luna | ピリオド100個 | 52.78% | 54.37% | ＋1.60ポイント | −2.84〜＋6.21ポイント |
| GPT-6.1 Terra | 数列1〜100 | 79.55% | 80.79% | ＋1.24ポイント | −2.30〜＋4.96ポイント |
| GPT-6.1 Terra | ピリオド100個 | 79.55% | 82.62% | ＋3.07ポイント | −0.83〜＋7.21ポイント |
どの比較でも、差の信頼区間は0をまたいでいます。つまり、音韻検索で有意な改善を確認できませんでした。
考察
Lunaでは、算術の時点でフィラートークンによる改善を確認できず、音韻検索でも同様でした。原典では、フィラーによる改善とモデルの基礎的な正解率との関係も議論されています。今回のLunaも、フィラーを活用できる水準に達していなかった可能性があります。
Terraでは算術で改善を確認できましたが、音韻検索では有意な改善を確認できませんでした。ただし絶対値としては、すべての比較で、フィラーありフィラーなしよりも高い値になっており、効果が弱いだけの可能性もあります。仮にモデルの基礎的な能力がフィラーによる改善に関係するならば、将来のより能力が向上したモデルでは、フィラートークンだけで有意な改善が見られるようになるかもしれません。