埋め込みモデルのEmbedding vectorsのばらつきをどう比較するか考えてみた

RAGにおける検索をはじめとして、埋め込みモデルはAI開発の至るところで活躍しています。このメモは、異なる埋め込みモデルを統計的に評価したいと思った際に整理したものです（間違いに気づいた方がいらっしゃったら、ぜひ教えてください）。

散らばりの指標

記号の準備

埋め込みモデルを$m$、入力対象(文などのテキスト)を$i$とする。次元$d_m$の埋め込みモデルは対象$i$をベクトル$x_i^{(m)} \in \mathbb{R}^{d_m}$に写すが、次元$d_m$はモデルごとに異なることに注意する。

埋め込みの世界では、ベクトル$x_i^{(m)}$は一般的には意味づけを持たず、その方向の一致度で文書間の類似度を測る。特に最も汎用的なcosine類似度で近さを測る場合には、

$$ z_i = \frac{x_i}{||x_i||}, \qquad ||z_i|| = 1 $$

のように正規化するため、以降はこの単位ベクトルで議論を進める。単にベクトルの散らばり具合はどう評価すればいいだろうか。

単位ベクトルのばらつき

$n$ 本の単位ベクトルの標本平均を $\mu = \frac1n \sum_i z_i$ と書く。$||\mu||$ は $0$〜$1$ の値をとり、全ベクトルが同じ向きなら $1$、四方八方に散っていれば $0$ に近い（方向統計学で mean resultant length と呼ばれる量）。したがって、埋め込みベクトルの散らばり具合は

$$ V = \frac1n \sum_{i=1}^n ||z_i - \mu||^2 = 1 - ||\mu||^2 .$$

で表現できるように思える。$V$ はよく見慣れた標本共分散行列（分母 $n$）の trace になる（分母 $n-1$ の不偏標本共分散 $S$ なら $\mathrm{tr} S = \frac{n}{n-1}V$）。

ところが、一般にこの$V$はモデル間で比べられない。例えば、同じ $n$ 個の対象をモデル A と B に入れ、$V_A = 0.76$、$V_B = 0.34$ を得たとする。「A のほうが対象をよく区別している」と結論したくなるが、次の 2 つの理由で正当化できない。

• 多くの埋め込みモデルは、どんな入力にも共通する成分を出力に含む。全ベクトルが同じ向きに引っ張られるため $||\mu||$ が大きくなり、$V$ は小さくなる（異方性）
• 意味の違いを大きな角度で表すモデルと、小さな角度で表すモデルがある。これは「近い」を cosine 0.9 で表すか 0.6 で表すかという目盛りの違いである（目盛のちがい）

$V$ は配置の「大きさ」しか見ておらず、大きさはこうしたモデルの性質で変わる。注意したいのは、共通方向や目盛りが「近さの順序を変えない無害な癖」だとは一般には言えないことである（共通方向を足して再正規化すると、分母が点ごとに異なるため cosine の順位は変わり得る。後述）。言えるのは、ある明示した変換に対しては順位も比も不変であり、$V$ はその変換で変わってしまう、ということまでである。そこで、変換を明示し、それに対して不変な統計量を考えよう。

埋め込みモデルの一部の癖に不変な統計量

「比較できる」を厳密に言うと、「モデルの癖にあたる変換で値が変わらない」ということである。まず特定の条件下での癖を数学的に定義し、次にどの統計量がそれに対して不変かを調べる。

対象のグループラベル

各対象にグループラベルがあるとする（文書のテーマ、言い換え文の元質問、画像のクラスなど）。グループ $g$ のサイズを $n_g$、平均を $\mu_g$、全体平均を $\mu$、グループ数を $G$ とすると、次が成り立つ。

$$\sum_i ||z_i - \mu||^2 = \sum_g n_g ||\mu_g - \mu ||^2 + \sum_g \sum_{i \in g} ||z_i - \mu_g||^2$$

左辺を$SS_T$、右辺の第1,2項をそれぞれ$SS_B,SS_W$とおく。単位ベクトルでは、各グループの平均ベクトルの長さだけで全て計算できる：

$$ SS_T = n (1 - ||\mu||^2), \qquad SS_W = \sum_g n_g (1 - ||\mu_g||^2), \qquad SS_B = SS_T - SS_W $$

以降、グループ間の割合を $R^2 = SS_B / SS_T$ と書く。

また、グループ内の散らばりの指標を次の$W_g$で定義する。
$$W_g = 1 - ||\mu_g||^2 = \frac{1}{n_g} \sum_{i \in g} ||z_i - \mu_g||^2$$

これはグループ $g$ の対象が自分たちの重心からどれだけ離れているかの平均二乗距離に対応する。全体では $\bar W = SS_W / n$ となる。

ただし $W_g$ は標本サイズに依存する。グループ $g$ の母集団平均方向を $m_g$ とすると、独立標本なら $E[W_g] = \frac{n_g-1}{n_g}(1-||m_g||^2)$ なので、$n_g = 2$ では真値の半分しか出ない。母集団の散らばりを推定したいときは

$$\tilde W_g = \frac{n_g}{n_g-1} W_g$$

を使う。サイズの異なるグループどうしで $W$ を比べるときは、この補正なしでは比が系統的に歪む。

例1.
グループ A が $(1,0), (0.8, 0.6)$、B が $(0,1), (-0.6, 0.8)$。$\mu_A = (0.9, 0.3)$、
$||\mu_A||^2 = 0.90$、$W_A = 0.10$（$\tilde W_A = 0.20$）。$\mu_B = (-0.3, 0.9)$、$W_B = 0.10$。$\mu = (0.3, 0.6)$、
$||\mu||^2 = 0.45$、$SS_T = 4 \times 0.55 = 2.2$、$SS_W = 0.4$、$SS_B = 1.8$、$R^2 = 0.82$

対象が 1 つしかないグループは $W_g = 0$ で $SS_W$ に寄与せず、$\tilde W_g$ は定義されない。グループ内の散らばりを論じるときは、サイズ 2 以上のグループに限定する。

配置と相似変換

$n$ 本のベクトルの集まり $Z = (z_1, \ldots, z_n)$ を配置と呼ぶ。配置に対して

$$ y_i = a Q z_i + b, \qquad a > 0,; Q \in \mathbb{R}^{d' \times d},; Q^\top Q = I_d,; b \in \mathbb{R}^{d'} $$

という形の変換（一様な拡大縮小・回転・平行移動の合成。$d' \ge d$ を許すので、より高い次元への等長的な埋め込みも含む）を相似変換という。相似変換は対象間のすべての距離を同じ倍率 $a$ で変えるので、距離の順序も、距離の比も保つ。$a = 1$ の場合（回転と平行移動のみ）を等長変換という。

命題1. 平方和の比の不変性
グループラベル付きの配置に対して、比 $R^2=SS_B / SS_T$ および $SS_W / SS_T$ は相似変換で不変である。

つまり、$R^2$ は配置の「大きさ」ではなく「形」の関数である。一方 $V = SS_T / n$ は等長変換では不変だが、$a^2$ 倍されるので相似変換では変わる。

同じことを距離だけで書ける。二乗距離 $d_{ij}^2 = ||z_i - z_j||^2$ に対して、恒等式

$$ SS_T = \frac1n \sum_{i<j} d_{ij}^2, \qquad
SS_W = \sum_g \frac{1}{n_g} \sum_{\substack{i<j \ i,j \in g}} d_{ij}^2 $$
が成り立つ。$R^2$ は距離行列 $(d_{ij})$ だけから決まり、しかも距離行列を定数倍しても変わらない。座標系は一切現れないので、次元が異なるモデルでも同じ定義がそのまま使える。

共通成分の効果

共通方向の効果を近似なしで表す変換がある。$0 < \lambda \le 1$ として、共通の 1 次元を付け足す：

$$ y_i = (\sqrt{\lambda} z_i,\ \sqrt{1-\lambda}) \in \mathbb{R}^{d+1}, \qquad ||y_i|| = 1 $$

このとき

$$ y_i^\top y_j = 1 - \lambda + \lambda z_i^\top z_j, \qquad ||y_i - y_j||^2 = \lambda ||z_i - z_j||^2 $$

cosine は一様に $1-\lambda$ だけ持ち上がって $\lambda$ 倍に圧縮され、順位は厳密に不変、距離は一様に $\sqrt\lambda$ 倍になる。これは $a = \sqrt\lambda$、$Q = (I_d;\ 0) \in \mathbb{R}^{(d+1) \times d}$、$b = (0, \ldots, 0, \sqrt{1-\lambda})$ とおいた相似変換そのものである。したがって $V_y = \lambda V_z$、$R^2_y = R^2_z$。「無関係な文書どうしでも cosine が 0.6 ある」モデルが、順位の情報を失わずに $V$ だけ小さく見える、という状況の正確なモデルになっている。

一般の共通方向の追加は近似的にしか相似変換でない

既存の次元の中で共通方向 $u$ を足して再正規化する操作

$$ y_i = \frac{z_i + c u}{||z_i + c u||}, \qquad ||u|| = 1 $$

は、分母が点ごとに違うため相似変換ではなく、順位も一般には変わる。$z_i = \mu + e_i$（$\sum_i e_i = 0$）、$v = \mu + cu$ とおくと、正規化の一次近似は $e_i \mapsto P_{v^\perp} e_i / ||v||$（$P_{v^\perp}$ は $v$ に直交する部分空間への射影）で、偏差のうち $v$ 方向の成分は落ちる。したがって相似変換に近づく本質的な条件は、偏差が小さいことではなく、偏差 $e_i$ が $v = \mu + cu$ にほぼ直交していることである（$cu$ が支配的なら、これは共通方向 $u$ にほぼ直交することに対応する）。

数値で確かめる。50 次元で 20 グループの中心を乱数で置き、その周りに 4 点ずつ散らして正規化した配置に、ランダムな共通方向を強さ $c$ で足したとき：

$c$	$V$	$R^2$
0	0.962	0.790
2	0.902	0.790
4	0.768	0.790
8	0.484	0.791
16	0.196	0.792

$V$ はおよそ 5 分の 1 になるが、$R^2$ はほとんど変化しない。これは 50 次元でランダムな $u$ が偏差とほぼ直交しているためで、一般の保証ではない（低次元や、$u$ が意味方向と重なる場合には最近傍の一致率が目に見えて下がる）。

不変でない変換はなにか

相似変換でない変換、たとえばグループ内の散らばりだけを $s$ 倍に縮める変換 $y_i = \bar z_g + s(z_i - \bar z_g)$ は、$SS_W$ を $s^2$ 倍にし $SS_B$ を変えないので $R^2$ を変える。先と同様の実験評価で

$s$	$V$	$R^2$
1.0	0.962	0.790
0.7	0.958	0.884
0.4	0.954	0.959

が得られる。今度は $V$ がほとんど動かず、$R^2$ が動く。つまり $R^2$ は「一様な変換では説明できない配置の違い」だけに反応する。モデル間の $R^2$ の差は、癖ではなく形の差である。

不変性の階層

どの程度の変換まで許すかで、統計量は階層をなす。許す変換が広いほど癖に強く、代わりに捨てる情報が増える。

統計量	不変な変換	不変化によって無視する変化
$V$、平均ペア距離	等長変換（回転・平行移動）	形は 1 つのスカラーに潰される。大きさは残る
$R^2$、$SS_W/SS_T$、正規化マージン	相似変換（等長 + 一様拡大）	大きさ
$k$近傍の一致率、順位相関、マージンの符号	ペア距離の任意の単調変換	大きさと、順序以外の形

等長変換 $\subset$ 相似変換 $\subset$ 距離の単調変換、という包含になっている。検索は順位で決まるので、最終的な確認には第三段階の量を添えるのがよい。ただし順位だけでは「どれくらい余裕をもって当たったか」が分からないため、記述の主役は第二段階の $R^2$ と $W$ に置く。

検定統計量

$R^2$ は命題1により相似変換で不変で、同じ対象集合・同じグループ分けに対するモデル間の比較に使える。また、 $F = \frac{SS_B / (G-1)}{SS_W / (n - G)}$ とすると $F$ は距離に基づく多変量分散分析（PERMANOVA）の擬似 $F$ であり、$n$ と $G$ が固定であれば $F$ は $R^2$ の単調増加関数になる。

ただし $R^2$ は上に偏る。帰無仮説（ラベルと配置が無関係）の下でもグループ平均は標本の揺らぎを持つので $SS_B$ は正で、$R^2$ の期待値はおよそ $(G-1)/(n-1)$。小さなグループを多数作るほど機械的に上がる。したがって $R^2$ は同一デザイン（同じ $n, G, n_g$）でのモデル比較の記述量として使い、「$R^2 = 0.8$ だから母集団の分散の 8 割がグループ差」とは読まない。設計をまたいだ目安には $F$（帰無仮説の下で 1 付近）を使う。

p 値はラベルの置換で求める。ラベルをランダムに並べ替えて統計量を再計算する、を $B$ 回繰り返し、観測値以上となった回数を $b$ として $p = (b+1)/(B+1)$。$n, G$ は並べ替えで変わらないので $R^2$ で数えても $F$ で数えても p 値は一致する。$B = 999$ なら最小の $p$ は 0.001 で、5% や 1% の判定には足りる。

なお置換検定には「帰無仮説の下で置換の単位が交換可能（exchangeable）」という前提がある。対象に階層構造や反復測定があるなら無制限の置換は使えず、階層を尊重した制限付き置換が要る。またグループ間で散らばりの大きさが異なる場合、特に不均衡設計では、$F$ の有意性が「位置の差」ではなく「散らばりの差」を拾っていることがある。

$R^2$ が高いということは、グループが塊として互いに離れていることを意味する。$W_g$ が大きいことは、グループという塊の中で対象どうしが離れていることを意味する。前者は「どのグループか」を当てる課題に、後者は「グループ内のどれか」を当てる課題に使える。同じ分解の2つの面であり、どちらが重要かは課題で決まる。

ICC との関係

$R^2$ と級内相関 ICC は、どちらも $SS_B$ と $SS_W$ から算出される。違いは次の通り。

• $R^2 = SS_B/SS_T$：手元の標本で、散らばりの何割がグループ間か。記述の量
• ICC：母集団を想定した量。各対象の値 $y_i$ が、所属グループの効果 $a_g$ と個体のずれ $e_i$ の和 $y_i = \mu + a_g + e_i$（ $\mathrm{Var}(a_g) = \sigma_a^2,\ \mathrm{Var}(e_i) = \sigma_e^2$ ）で生成されると考えたとき、 $\mathrm{ICC} = \frac{\sigma_a^2}{\sigma_a^2 + \sigma_e^2}$ と定義される。これは同じグループから 2 つの対象を取ったときの値の相関に等しい。母集団のパラメータなので、標本からは推定する量

$R^2$ をそのまま ICC の推定に使えないのは、グループ内のばらつき $\sigma_e^2$ があるとグループ平均も揺れるからである。グループ平均の揺れの一部は本物のグループ差ではなく、個体のずれが平均に残ったもので、$SS_B$ にはそれが混ざっている。そのため $R^2$ はグループ差を過大に見積もる。一元配置変量効果モデルの推定量
$$\widehat{\mathrm{ICC}}(1) = \frac{MS_B - MS_W}{MS_B + (n_0 - 1) MS_W},\ \ \
MS_B = \frac{SS_B}{G-1},\ \ \ MS_W = \frac{SS_W}{n-G}$$
の分子で $MS_W$ を引いているのは、この混入分を差し引く補正である。$MS_B, MS_W$ を平方和で書き戻すと、両者が同じ材料から作られていることが並べて見える。
$$R^2 = \frac{SS_B}{SS_B + SS_W}, \qquad \widehat{\mathrm{ICC}}(1)=\frac{\dfrac{SS_B}{G-1} - \dfrac{SS_W}{n-G}}{\dfrac{SS_B}{G-1} + (n_0-1)\dfrac{SS_W}{n-G}}.$$

$R^2$ は $SS_B$ と $SS_W$ をそのまま足して割る。ICC は各平方和を自由度で割って「1 自由度あたり」に直し、さらに分子から $SS_W$ 側を引く。グループのサイズ $n_0$ が大きいほど平均の揺れは小さく、補正も小さくなり、$R^2$ と ICC は近づく（不均衡設計では $n_0 = \frac{1}{G-1}(n - \sum_g n_g^2 / n)$）。

ICC は本来スカラー応答に定義される。埋め込みベクトルに対して上の式をトレース（平方和）で計算することはできるが、それは多変量への拡張を自分で定義しているのであって、標準的な ICC ではない。また 0/1 の応答に対する ANOVA 型 ICC は計算できるが、ガウス変量効果モデルは文字通りには当てはまらず、ロジスティック混合モデルの潜在尺度 ICC などとは別の量である。

この対応が役に立つのは、同じグループ分けを入力側と出力側の両方に適用できるときである。たとえば「同じ元質問の言い換え群」をグループとすると：

対象	量	意味
入力：クエリの埋め込み	$R^2$（または埋め込みの ICC）	言い換えても、埋め込みはどれだけ「同じ質問」のままか
出力：正誤指標（0/1）	ICC（または正誤の $R^2$）	結果の当たり外れは、どれだけ「どの質問か」で決まるか

両方が「グループ間 $\div$ 全体」という同じ形なので、同じグループ構造について入力側と出力側の依存度を並行して診断できる。入力の同一性が高いのに出力の同一性が低ければ、システムのどこかで言い換えが結果に影響している、という手がかりになる。

入力の埋め込みと 0/1 の出力は異なる応答空間にあり、両方を $R^2$ に揃えても、数値の差そのものを「言い方の違いが効いた分」として解釈することはできない。差は検索対象のコーパス、決定境界、紛らわしい文書、生成段階などでも生じる。また $R^2$ と ICC は補正の有無が違うので、比べるなら同じ側の量に揃える。

不確実性の評価

$R^2$ や $\bar{W}$ には標本誤差がある。再標本化の単位はグループでなければならない。同じグループの対象は互いに似ているので、対象単位で再標本化すると相関を無視して区間が狭く出る。

クラスター・ジャックナイフ

グループを 1 つずつ抜いて統計量 $\hat\theta_{(-g)}$ を計算し、
$$\widehat{SE} = \sqrt{\frac{G-1}{G} \sum_{g=1}^{G} \big(\hat\theta_{(-g)} - \bar\theta_{(\cdot)}\big)^2} .$$

複数のモデルが同じ対象を埋め込んでいる場合、差 $\hat\theta_A - \hat\theta_B$ に同じ抜き方を適用すると対応のある標準誤差が得られる。モデルごとに区間を出して重なりを見るより検出力が高い。

クラスター・ブートストラップ

グループを復元抽出して統計量の分布を作る。$R^2$、$\bar W$ のように平均に基づく量には、グループが独立な超母集団からの標本とみなせる場合に使える。モデル比較では、同じブートストラップ標本を全モデルに適用する対応のあるブートストラップにする。

検出力の目安

グループごとの $W_g$ と、そのグループに対する何らかの成績との相関 $\rho$ を検出するのに必要なグループ数は、Fisher の $z$ 変換により概ね
$$ G \approx \left(\frac{z_{1-\alpha/2} + z_{1-\beta}}{\mathrm{artanh}(\rho)}\right)^2 + 3 .$$

両側 5%・検出力 80% で、$\rho = 0.5$ なら 29、0.3 なら 85。逆に $G = 20$ で検出できるのは $|\rho| \approx 0.59$ 以上、つまり 0.6 弱までである。

検索課題でどう使うか

ここまでの量を「検索の当たりやすさ」に読み替える。設定は、各質問に正解文書が 1 つあり、正解と同じグループに紛らわしい文書（同じ話題の別文書）が置かれている、という典型的な RAG の検索評価である。検索の成否は次の 4 層で決まる。

① クエリ内の安定性（言い換え群の幾何）　② 文書内の構造（文書集合の幾何）　③ クエリ–文書の整合（集合をまたぐ幾何）　④ 最終順位

①②は同じ集合の中の幾何で、$R^2$ と $W$ が記述する。③が検索を直接決める。文書側の $R^2$ が高く、質問側の $W_q$ が小さくても、質問群と正解文書の位置がずれていれば検索は失敗する。

文書側：$W_g$ は「グループ全体の広がり」であって「正解周辺の混雑度」ではない
正解が上位に来るには、質問ベクトルが正解に最も近く、同グループの他文書より近い必要がある。グループ内の散らばり $W_g$ が小さいと、これは難しくなりやすい。しかし $W_g$ が大きくても、正解のすぐ隣に 1 件だけ紛らわしい文書があり残りが遠ければ、$W_g$ は大きいまま検索はその 1 件に失敗する。検索難易度に直結するのは質問 $q$ から見た $d(q, d^+)$ と $\min_{d^- \ne d^+} d(q, d^-)$ の関係（③の層）であり、$W_g$ はその背景となる記述統計と位置づける。

質問側：用量は質問内の散らばり
同じ元質問の言い換え群をグループとすれば、$\tilde W_q$ は「言い換えでどれだけ動いたか」。言い換えの強さを段階的に操作しているなら、段階ごとに $\tilde W$ を計算して単調に増えているかを確かめれば、操作が用量として機能しているかが分かる。

両者の比
質問が動く距離 $\tilde W_q$ と、文書群全体の広がり $\tilde W_g$ の比は、「言い換えによるクエリの変動量が、文書側の幾何のスケールに対してどの程度か」を表す粗い記述量である。同じ空間の中の比なのでモデル間で比較できるが、上で述べたとおり $\tilde W_g$ は正解周辺の混雑度ではないので、この比を検索難易度の目安とはしない。難易度は次のマージンで見る。

クエリ–文書の整合：マージン
各質問について、正解との類似度と、最も近い他文書との類似度の差 $s(q, d^+) - \max_{d^-} s(q, d^-)$ を考える。符号は順位だけで決まり（$> 0$ が「正解が 1 位」と同値）、先の階層の第三段階の量である。一方、大きさは類似度の目盛りに依存し、単調変換 $f$ に対して $f(s_+) - f(s_-)$ は保存されない。「余裕」をモデル間で比べたいなら、二乗距離 $d_+^2 = ||q - d^+||^2$、$d_-^2 = \min_{d^-}||q - d^-||^2$ を使って一様スケールを消した

$$ M = \frac{d_-^2 - d_+^2}{d_-^2 + d_+^2} \in [-1, 1] $$

のような正規化マージンにする。符号は元のマージンと同じで、大きさは相似変換で不変（第二段階）。

指標の整理

量	言えること	言えないこと
$V$	そのモデルが空間をどれだけ広く使うか（記述）	モデル間の優劣（大きさの違いと区別できない）
$R^2$	同一デザインで、グループ構造がどれだけ配置に現れているか。相似変換で不変	グループ内で個体を区別できるか。母集団の分散比（上に偏る）。設計をまたいだ比較
$\tilde W_g$	グループ全体の広がり（サイズ補正済み）	正解周辺の混雑度。どの方向に散っているか
段階別の $\tilde W_q$	操作が用量として機能しているか	実際の入力分布がその範囲に収まるか
正規化マージン $M$	質問が正解にどれだけ余裕をもって近いか（尺度不変）	Top-1 以外の順位
置換 p 値	グループ構造が偶然でないこと（交換可能性の下で）	効果の大きさ（それは $R^2$）

$R^2$ と $M$ は比なので、同一デザインの比較では標本サイズの影響を受けにくい。$W_g$ は $n_g$ に依存するので必ず補正して使う。固有値の分布に基づく「方向の数」を数える量は、標本サイズ $n$ が次元より小さい状況で $n$ に強く縛られる（非ゼロ固有値が $n-1$ 個しかない）ため、対象数が〜100程度の実験では平均に基づく量を主に使うのが安全である。