複数の言語モデルを合議・多数決・ルーティングで組み合わせれば、単体より賢くなる。この期待は「モデルたちの誤りが独立している」という仮定の上に乗っている。だが、その独立はめったに確かめられない。多エージェント系の合成信頼性を扱う近年の研究は、独立仮定について次のように述べている。
routinely stated and rarely tested
そして実測すると、独立はしばしば崩れている。350 を超えるモデルを公開リーダーボードで評価した研究は、多様性が均質さを打ち消すという前提そのものを問い直す。
is assumed to mitigate homogeneity in LLMs
本稿は、この「誤りの相関」を三つの層（難易度・能力・系統）に分け、そのうち系統成分（同じ事前学習の血筋に由来する相関）だけを取り出して測る再現可能な手順を、公開文献に接地して整理する。題材はすべて一般化し、特定の実装やリポジトリには触れない。
前提: 組み合わせの利得には天井がある
まず、なぜ相関が問題になるのかを押さえる。複数モデルを束ねる系（ルーティング・投票・カスケード・融合）の利得は、独立なら大きいが、相関があるほど頭打ちになる。67 のフロンティアモデルを横断した研究は、この頭打ちを「共倒れ（両者が同時に誤る率）」という量で定式化し、次のように述べている。
their gain is capped by a quantity the field rarely reports
つまり、束ねる価値は「みんなで同じ問題を落とす率」に上限を握られている。だから相関がどこから来るのかを分けて測る意味がある。
相関は三つの層に分けられる
二つのモデルが同じ問題でそろって誤るとき、その相関には少なくとも三つの源がある。
- 難易度: その問題が単に難しく、どんなモデルも落としやすい。全モデル共通の項。
- 能力: 二つのモデルの賢さ（正答率）が近いと、届く範囲が似て相関する。個体固有の項。
- 系統: 二つが同じ土台（事前学習・ベースモデル）を共有し、同じ盲点を受け継ぐ。血筋のブロック相関。
素朴に相関係数を測ると、この三つが混ざる。特に「難易度が高い」と「能力が近い」は交絡として効く。系統成分だけを見たいなら、前二者を統制してから残差を測る必要がある。
系統成分を取り出す手順
以下は公開のリーダーボード行列（モデル × 問題の正誤表）があれば誰でも回せる設計パターンである。
難易度で層別する
問題を難易度（たとえば全モデルの平均失敗率）で分位に切り、層の中だけでペアの共倒れを集計する。層ごとの共通オッズ比を Cochran–Mantel–Haenszel 型で束ねれば、「難しい問題だからそろって落ちた」分を差し引ける。分位数を細かくするほど難易度交絡は縮む。粗い層別で残差が過大に見える罠を避けられる。
能力で対にする
比べるのは、正答率がほぼ等しいモデルどうしのペアに限る（正答率差の閾値を決めて matching する）。これで「単に賢さが同じだから似た」分を排除できる。能力を統制したうえでなお系統ペアの共倒れが高ければ、それは能力では説明できない。
モデル単位で並べ替える
有意性の検定には順列（permutation）を使うが、ペアはモデルを共有するので独立ではない。ペア単位で並べ替えると偽陽性が膨らむ。系統ラベルをモデル単位で入れ替える cluster-robust な並べ替えにすると、この非独立を正しく扱える。大規模ではペア単位の型 I 過誤が制御不能になり、モデル単位が必須になる。
チャネルを選ぶ
ここが測定設計の核心である。系統成分は、統計量の取り方（チャネル）で見えも消えもする。
- 周辺集約チャネル: 各モデルの振る舞いを平均・折り畳んで間接的に比べる。規模が上がるほど信号が希釈し、大規模では検出力がほぼ失われる。
- 共倒れ（joint）チャネル: 二つが「同じ誤答でそろって外した」事象を直接数える。周辺集約を経ないので、規模が上がっても信号が残る。
同じデータでもチャネルを替えるだけで結論が反転しうる。系統の監査をするなら、平均でならすのではなく、誤答の一致を直接数える。
公開データで確かめる
上の手順は再現可能である。公開リーダーボードの正誤行列（数十〜数百モデル × 一万問規模・2026-09 取得）に、能力一致（正答率差 0.05 以下）・難易度 20 分位層別・モデル単位並べ替えを当てると、次の構造が現れる。
- 難易度層別を細かくすると、異なる系統のペアの見かけの共倒れは層別で説明し尽くされ、共倒れオッズ比はおよそ 1（独立水準）まで落ちる。
- 一方、同じ系統のペアの共倒れオッズ比はおよそ 3〜4 に残る。片側のモデル単位並べ替えで、有意水準 0.01 を下回る差が出る。
- 系統ラベルを粗く（提供元・会社単位）から細かく（ベースアーキテクチャ単位）に替えると、残差はより鋭くなる。効いているのは「同じ会社」ではなく「同じ土台」である。
数値の細部は、分位数・matching 閾値・行列の版で動く。重要なのは点の値ではなく構造 ── 能力と難易度を差し引いてなお、系統ペアの共倒れだけが残るという分離である。
この「土台を替えると相関は落ちるが、会社だけ替えても落ちない」という向きは、モデル置換の対照実験でも報告されている。
Substituting a different model reduces the association in six of six contrasts
相関は能力とともに上がる
もう一つ、設計上の含意として重要な観察がある。相関は能力が低いモデル特有の現象ではない。むしろ逆で、能力が高いモデルほど相関する。
larger and more accurate models have highly correlated errors
つまり「新しく賢いモデルを混ぜれば独立性が買える」は期待できない。表面が違って見えるモデルほど、出力は収束している可能性がある。
設計への含意
三つに分けて測ると、実務的な指針が出る。
- 監査は共倒れチャネルで: 系統相関を見たいなら、周辺集約で平均を取らず、誤答の一致を直接数える。周辺チャネルは規模で信号を失う。
- 多様化は系統で: 提供元（会社）を分けても、土台（系統）が同じなら共倒れは残る。逆に同じ会社でも土台が違えば独立に近い。分けるべきは会社でなく系統である。
- 統制と検定を省かない: 難易度層別・能力 matching・モデル単位並べ替えのどれを抜いても、交絡か偽陽性で結論が歪む。三つは連続した一つの手順として回す。
組み合わせの利得は、束ねる本数でなく、束ねる相手の系統の分散で決まる。その分散を測るには、正しいチャネルで、正しく統制した残差を見る。
出典
本稿の引用はすべて一次資料と逐語照合（verify_article 通過）のうえ掲載しています（2026-09-08 検証）。
[1] https://arxiv.org/abs/2506.07962
[2] https://arxiv.org/abs/2606.27288
[3] https://arxiv.org/abs/2608.12895