同じ問題を何度も解かせて、いちばん多かった答えを採用する。推論を1回で終わらせない多数決は、LLMの精度を底上げする定番テクニックとして半ば反射的に使われている。評価スクリプトに n=8 くらいの多数決をこっそり仕込んだ経験がある人は少なくないはずだ。ところがこの多数決、難しい問題ではむしろ精度を下げていた。そういう地味だが無視できない報告が出た。

Utkarsh Bahuguna 氏の論文 When Self-Consistency Backfires(2026年8月11日投稿、COLM 2026 の Efficient Reasoning ワークショップ採録)が、大学院レベルの理科の難問ベンチマークで、その逆効果を事前登録つきで実証している。

「サンプルして多数決」で賢くなる、はずだった 🧩

まず前提から。ここで問題になっている手法は self-consistency(自己整合性) と呼ばれる。2022年に Google の Xuezhi Wang らが提案したもので、発想はシンプルだ。Chain-of-Thought(思考の連鎖、途中の推論ステップを書かせる方式)で1本だけ答えを出すのではなく、温度を上げて推論パスを何本もサンプリングし、最終的な答えの多数決を取る。「正しい答えには複数の道筋がたどり着くが、間違いはバラける」という直感に乗っている。GSM8K で +17.9 ポイントなど、当時の算数・論理系ベンチマークで大きく効いたので、以来ずっと「推論時に計算を積めば精度が上がる」王道として定着してきた。

Bahuguna 氏が突いたのは、この「積めば上がる」がどこまで成り立つのか、という点だ。使ったのは GPQA Diamond、物理・化学・生物の専門家でも手こずる198問。モデルは Qwen2.5-7B-Instruct と Llama-3-8B-Instruct という、推論特化ではないごく普通のインストラクションモデル2つ。温度0.7で1問あたり最大64本サンプリングし、多数決の答えが単発(N=1)の答えより良くなるのか悪くなるのかを、問題単位で数えた。

平均は上がるのに、問題ごとに見ると壊れている

結果の見せ方がこの論文の肝で、ここを取り違えると真逆の結論になる。

モデル	単発 N=1	多数決 N=64	問題単位で悪化した割合	到達可能な上限(オラクル)
Qwen2.5-7B	34.2%	36.9%	56.6%	48.2%
Llama-3-8B	27.3%	31.3%	65.7%	43.9%

全問プールした集計精度だけ見ると、多数決は Qwen で +2.7、Llama で +4.0 ポイント。「ほら効いてるじゃないか」で終わりそうになる。だが問題ごとに N=64 と N=1 を比べると、精度が下がった問題のほうが多い。Qwen で56.6%、Llama では65.7%の問題で多数決が足を引っ張っていた。集計値がプラスなのは、少数の問題で大きく勝った分が、多数の問題で少しずつ負けた分を上回って相殺しているだけだ。平均という指標が個々の劣化を覆い隠す典型で、ダッシュボードの総合スコアだけ眺めていたら絶対に気づけない種類の話だと思う。

さらに残酷なのが、右端の「オラクル」列だ。これは各問題を最適な N({1,2,4,…,64}のどれか)にルーティングできた場合の理論上限で、Qwen で48.2%(N=1から+14ポイント)、Llama で43.9%(+17ポイント)まで届く。つまり「多数決すべき問題」と「1回で止めるべき問題」を正しく振り分けられれば、伸びしろは確かに存在する。問題は、その振り分けに正解ラベルが要ること。デプロイでは使えない。

モデルの自信は、正しさをまったく指していない

なぜ多数決が裏目に出るのか。メカニズムは拍子抜けするほど直接的だ。難問ではモデルのサンプリング分布が「間違った答え」のまわりに集中してしまう。すると多数決はその誤答を確定させる方向に働く。票が割れているうちはまだ救いがあるのに、自信満々に間違えると多数決がそれを増幅する。

論文はこれを較正(calibration)の崩壊として定量化している。答えの一致率がいちばん高いビン、つまりモデルが最も「確信している」問題群を取り出しても、Qwen で正解率は52.5%、コイン投げと大差ない。Llama にいたっては最高一致ビンの正解率が28.6%で、これは最も票が割れた最低一致ビンの30.4%を下回る。自信の強さと正しさが逆相関しているわけだ。この一点が、後述する対策の望みをことごとく断つ。

「いつ信じていいか」を機械側が教えてくれない

オラクルに伸びしろがあるのなら、正解ラベルなしで「この問題は多数決を信じていい」と判定するゲートを作れないか。誰もが思いつくし、著者もそこを潰しにいっている。

試したのは2つ。多数決の一致率で足切りする plurality-agreement gate と、トークンのエントロピー(出力の揺らぎ)で足切りする token-entropy gate。どちらも、モデル自身のサンプルから取れる「確信度らしき信号」で怪しい問題を弾こうという発想だ。結果、いずれのゲートも N=64 固定の多数決から精度を0.002ポイントすら動かせなかった。前節の較正崩壊を思えば当然で、自信が正しさを指していない以上、その自信を使ったゲートが機能するはずがない。

この論文をただの悲観論にしていないのは、方法論の硬さだ。仮説は47問の探索セットで立て、151問の確認セットに対して事前登録してから検証している。「悪化率は33%以上」「ゲートが埋められる伸びしろは10%以下」といった4つの事前登録仮説がすべて通った。データと検証コードは GitHub リポジトリ(Apache 2.0)で公開され、ロックした閾値に対する pytest まで置いてある。後付けで都合よく解釈した結果ではない、という担保がきちんとある。

で、明日から何をどう変えるか

素朴な多数決のループはだいたいこう書く。

from collections import Counter

def self_consistency(ask, prompt, n=64):
    answers = [ask(prompt, temperature=0.7) for _ in range(n)]
    return Counter(answers).most_common(1)[0][0]  # 難問ではこれが誤答を確定させうる

この形を、難しい入力に無防備に当てるのはやめたほうがいい、というのが実務的な結論になる。とりわけ危ういのは、一致率やエントロピーを「多数決を信じる/信じない」のゲートに転用する設計だ。この論文が示したのは、その信号がハードな問題では役に立たないという事実で、ならば正しさの判定はモデルの外に置くしかない。外部の検証器(コードなら実行、数学なら記号ソルバ)や、独立に学習したプロセス報酬モデル(PRM、途中の推論ステップに点をつけるモデル)で答えを選び直す方向だ。多数決は安いが、安さの裏で難問では逆効果になりうる、というトレードオフを前提に置いておきたい。

ひとつ効きどころを絞っておくと、対象は7〜8Bクラスの非推論モデルだ。著者は推論特化モデル(思考を長く回すタイプ)でも試したが、隠れ推論に出力トークンを使い切って答えが出ないサンプルが多く、比較にならなかったと明記している。この逆効果が推論特化モデルで縮むのか残るのかは「中心的な未解決問題」として保留されている。o1系や DeepSeek-R1 系にそのまま当てはめる話ではない。それでも、量子化した小型モデルをエッジやオンプレで多数決推論に回している構成は世の中に山ほどある。そこに効く警告として、この地味な198問の実験は十分に重い。

※本記事は一次情報の調査をAIが行い、事実確認のうえ執筆・公開しています。