はじめに
4/21追記
不例は物理だと反強磁性相互作用与えるので一次隣接と解釈してますが、グラフ埋め込みだと正例のみをエッジと捉えるのでそうじゃないです
なので、一次隣接や距離の概念の取り方が2つで全然異なるので、以下の文章はかなり誤っていそうです
準長距離じゃなくてスピングラス相かも
......色々と見直します
AIで使われる埋め込み表現って、物理的に納得できないところがあり文章にしました
オチのないポエムです
誰か詳しい人教えてください or 研究してください
言いたいこととしては、「埋め込み表現は準長距離秩序で議論できるんじゃないか」という仮説です
この仮説は、肯定しても否定してもビミョーなところが出てきてしまいます......
両方詳しい人はあまりいない気がするので、まず初めにAIの用語で物理を、物理の用語でAIを説明します
ここはテキトーに読み飛ばしていいです
AI詳しい人に向けた統計力学の解説
統計力学について
統計力学とは沢山の次元(変数の数)を持つ系(例:空気)がどう振る舞うのかを考察する物理学の分野です。
色々な物理状態を決める諸々のパラメータを $\boldsymbol{\theta}$ という一本のベクトルで表現できるとします。
そのとき、系の状態が $\boldsymbol{\theta}_0\in{\Theta}$ を取る確率 $p(\boldsymbol{\theta}_0)$ は
\begin{align}
p(\boldsymbol{\theta}_0)
&= \mathrm{softmax}_{\Theta}\left(
-T^{-1}\mathcal{H}(\boldsymbol{\theta}_0)\right)
\end{align}
が成立します1。
$T$ は温度と呼ばれる正値で、これを線形変換させたものが摂氏・華氏になります。
$\mathcal{H}$ はハミルトニアンと呼ばれ、AI用語のエネルギー関数と同じようなものです。
このとき、確率が最も高い(系が一番取りやすいケース)状態 $\hat{\boldsymbol{\theta}}$ は $T$ を定数とみなすと
\begin{align}
\hat{\boldsymbol{\theta}}
&=
\mathrm{argmax}_{\boldsymbol{\theta}\in\Theta} \ p(\boldsymbol{\theta})
\\&=
\mathrm{argmin}_{\boldsymbol{\theta}\in\Theta}
\mathcal{H}(\boldsymbol{\theta})
\end{align}
となります。
そういった背景から、物理学では
- $\mathcal{H}$ をどんな関数とみなすべきか
- $\mathcal{H}$ はどんな $\hat{\boldsymbol{\theta}}$ で最小なのか(基底状態)
が研究されたりします。
これら問題はAI風に言うと
- エネルギー関数をどう定義するのか
- エネルギー関数を最小化する、$\boldsymbol{\theta}$ を学習
といった塩梅です。
スピンモデルについて
統計力学でよく使われるモデルにスピン2モデルがあります。
これは、元々は磁性体(例:磁石)の説明に使われてきましたが、今では物理学以外の分野を含め幅広く使われるモデルの一つです。
ここでいうモデルとはAIのそれとは違い、複雑な現象を簡略化させたフレームワークと考えてください
各ノードごとに、スピンというベクトルが1対1対応している状況を想像してください。
このとき、ノード間・スピン間の関係性は以下の3つに分類できます
- 非磁性 : $i$ と $j$ の影響が無視できるもの
- 強磁性 : $i$ と $j$ が同じ向きを取りがちなもの
- 反強磁性 : $i$ と $j$ が逆向きを取りがちなもの
これの簡略化された(モデル的)表現として、ハミルトニアンはよく
\mathcal{H}(\mathcal{S}) = -\sum_{ij}J_{ij}\mathrm{sim}(\boldsymbol{s}_i, \boldsymbol{s}_j)
で記述されます。
$\mathrm{sim}$ はコサイン類似度です。
$J_{ij}$ はスピン同士 $i, j$ のミクロな関係性を規定する行列で
- $J_{ij}=0$ : 関係性が無視できるもの(非磁性)
- $J_{ij}>0$ : 同じ向き(コサイン類似度=1)を取りがちなもの(強磁性)
- $J_{ij}<0$ : 逆向き(コサイン類似度=-1)を取りがちなもの(反強磁性)
と解釈できます。
もちろん現実の物理現象はこのようなコサイン類似度と$J$だけで決まるような単純な式を取るわけではなく、もっといろいろな要因が関わってきます。
しかし「同じ・違う向きをとりがち」というスピン間のミクロな関係をもとに雑にハミルトニアンを作ったとしても、マクロな(系全体の)振る舞いは定性的にはそこそこ説明できることがわかっており、こういった背景からこの単純化された式はよく用いられます。
ハミルトニアンはミクロの定性的な性質を捉えていたら雑でも許されるため、これをさらに簡素化し、 $J_{ij}=0, \pm J_\pm$ の3状態しか取らないとしましょう。
このとき
\begin{align}
\mathcal{H}(\mathcal{S})
&= -J_+\sum_{i,j\in \mathcal{D}_+}\mathrm{sim}(\boldsymbol{s}_i, \boldsymbol{s}_j)
+J_-\sum_{i,j\in \mathcal{D}_-}\mathrm{sim}(\boldsymbol{s}_i, \boldsymbol{s}_j)
\\
\mathcal{D}_\pm &= \{(i,j)|J_{ij}=\pm J_\pm\}
\end{align}
というハミルトニアンが出てきます。
これは$s$ をグラフ埋め込みとみなすと対照学習損失と類似しており、正例間のベクトルを近づけ、負例間のベクトルを遠ざけるようなミクロなスピン(ノード)間の挙動は、定性的に一致しています。
加えて、infoNCEを $\mathrm{sim}(\boldsymbol{s}_i, \boldsymbol{s}_j)$ でべき展開したとき、一次の項まではこのハミルトニアンと一致します。
スピンモデルの挙動について
もし$J>0$(強磁性)が支配的なら、全体のスピンが特定の方向に向くことが予想できます(${E}_{\boldsymbol{s}}[\boldsymbol{s}]\neq0$ 3)。
このとき、どれだけ離れた2つのスピンでも相関があることから長距離秩序と呼ばれています。
また、$E_{s\in\mathcal{S}}[s]=0$ 下でもグラフ・スピンの次元によってはマクロ4な秩序構造が現れることが知られており、その一つが準長距離秩序です。
準長距離秩序では2つのスピンのコサイン類似度が距離で減衰し、その減衰が冪をとることが知られています
{E}_{s\in\mathcal{S}}[\mathrm{sim}(s_i, s_j)]\sim x_{ij}^{-\gamma}
$x_{ij}$ は $i$ と $j$ の距離であり、グラフの何次隣接かのようなものです。
$x_{ij}$ が冪であるため準長距離秩序は
- コサイン類似度は距離で減衰し0に収束するもののその裾は重く、遠くまで影響する
- スケールフリーであり、カットオフ距離・クラスタサイズなどの特徴的なサイズが系のサイズ(有限サイズ効果)以外は存在しない
という性質を持ちます。
統計力学詳しい人に向けたAIの解説
損失関数について
前章でエネルギー関数を使いましたが、そのような最小化したい指標(損失関数)を定義し、その指標を最小とするような系の状態を求める(パラメータ推定)のが最近のAIの主流です。
損失関数は、昔は対数尤度などの理論的・確率的背景に裏付けされたものが使われていましたが(前章のエネルギー関数もそっち)、今は「これが最小になったら嬉しいよね」ぐらいの雑な定義のされ方が行われることも少なくなく、物理学で言うモデル的な作られ方をすることもあります。
勾配降下法について
損失関数 $\mathcal{H}(\boldsymbol{\theta})$ が小さくする $\boldsymbol{\theta}$ を見つけたいと考えたとき
\boldsymbol{F}=-\nabla_{\boldsymbol{\theta}}\mathcal{H}
の力(加速度)を $\boldsymbol{\theta}$ に加え続ければ少なくともローカルミニマムに収束します。
AIでは、これに粘性項などを入れつつ、数値シミュレーションしています(勾配降下法)。
一方、欲しいのはグローバルミニマムであるため、ローカルミニマムへの落ち込みを防ぐため
- シミュレーションの離散時間の刻み幅(学習率)を細かくしすぎない
- 滑らかな関数を使う(例: 残差接続など)
- ノイズを入れ有限温度的にする(例: ドロップアウト・確率的勾配降下法)
などの工夫がされています
加えて、
- 高次元の系だと極小値を取りにくい(どこかの次元は勾配があるケースが多い)
- ローカルミニマムで実用上は問題ない
などの背景からあまり意識されないことも多いです
グラフ構造について
先ほども書きましたが格子のことです。
粒子のことをノードと言い、ノード間の繋がりをエッジと言います
関係性がスパースでほとんどが無視できる状況では、グラフはよく用いられ、具体的にはSNSやECサイトなどで用いられます
(SNSやECサイトではユーザーはごく一部の人・商品しか関わらない)
このような、SNS・ECサイトなどのグラフでは、スケールフリー構造が現れることが知られています。
スケールフリー構造とは、格子内の配位数の分布が冪になり、特徴的サイズが有限サイズ効果を除けばない状態を指します。
こういった状態では、ハブと呼ばれる配位数が極端に多い粒子を経由することで、スパースでありながらも、遠くまで情報が伝達しやすい特性を持つと言われています(例:伝染病・バズ)。
埋め込み表現
埋め込みとは何かしらの情報(例:画像・音声・テキスト・グラフ)を別のベクトルに変換したものを指します。
単なる写像と異なり
- あまり必要な情報を落とさずに自由度を落とす
- 幾何学的性質を持つ
といった特徴を持ちます
幾何学的性質に関しては、関係性や概念としての近さと幾何学的な近さ(コサイン距離)が相関することを指します
グラフ埋め込みの場合、それぞれの粒子(ノード)をベクトルにする場合が多いです。
そういった場合に使われる損失関数の一つが対照学習損失です
対照学習損失は格子の上の2粒子に着目し、「一次隣接かそうじゃないか」と「内積の大小」が相関すると値が下がるような式が用いられます
最も使われる対照学習損失であるinfoNCEを以下に示します
-\sum_{(i,j)\in\mathcal{D}_+}\log\frac{\exp(\boldsymbol{s}_i\cdot\boldsymbol{s}_{j})}{\exp(\boldsymbol{s}_i\cdot\boldsymbol{s}_{j}) + \sum_{k, (i,k)\notin\mathcal{D}_+}\exp(\boldsymbol{s}_i\cdot\boldsymbol{s}_{k})}
$\mathcal{D}_+$ が一次隣接な2粒子の集合です
これを最小化させるようなベクトル $\boldsymbol{s}$ はグラフ埋め込みと呼ばれ、類似度算出・幾何学的理解・自由度削減などに活用されています
このようなグラフ埋め込み学習をした場合、
- ベクトルのノルム : 平均配位数($\mathcal{D}_+$内の出現頻度)
- ベクトルの方向 : ノードのグラフ上の特性(SNSで例えるとどの界隈にいるか)
を指すことが知られており、そのことからベクトルの方向のみを重視して大きさを規格化し、ノルム1のベクトルとして考えることも多いです
加えて対照学習損失で作られた埋め込みにはユニークな特徴があり、隣接する粒子間は内積が大きいものの、全体では方向が均一に散らばり、超球面の表面上の密度は均一になることが知られています5
埋め込み表現の秩序
今から議論する話は、損失関数・ハミルトニアンが最小化したときの系について話します
この2つは「特定の関数が最小化したとき、その変数がどんな特徴を持つか」という観点では一致しており、単なるアナロジーではなく同一の問題です
そして、ミクロな相互作用を定性的に抑えれば、マクロな性質も定性的にはそこそこ示せるという物理学の 信念 に則るなら、スピンのハミルトニアンと対照学習損失は同一視しても問題ないでしょう
一応予防線を貼っておきます
一般に準長距離秩序は、$T=0$ で長距離秩序になるケースが多いため、低温極限ではあまり語られていません
ですが今回は $T=0$ でグラフ埋め込みが準長距離秩序かどうかを議論していきます
仮に $T=0$ で言えたとしても、 $T>0$ (もっと現実的な話)だと全然別の結果になることも少なくないので悪しからず......
埋め込み表現と準長距離秩序
物理における準長距離秩序の条件をまとると以下になります
- スピン(埋め込み)の平均 $E_\boldsymbol{s}[\boldsymbol{s}_i]=0$
- 無秩序ではなく、近いものは類似度高い
- 相関長がない・発散している(あえて言うなら系のサイズ)
- コサイン類似度が距離に対して冪的に減衰
このうち1・2・3が全て成立している場合
- 1・2からコサイン類似度は距離に対し単調減少し0に収束する関数
- 3から相関長がないため、系はスケール不変性を持つ
が成り立つので、これを満たす関数は冪だけなことから、4も自ずと導かれます。
では次に、この1〜3の条件をグラフ埋め込みが満たすかを見ていきます
1と2に関しては先述したように先行研究5があり、理想的には成立します。
次に3に関して説明します。
理想的なグラフ埋め込みは、グラフと損失関数の2つだけで決まります。
そして先述したようにグラフはスケールフリー性がみられることが多く、infoNCEなどの対照学習損失関数にも特徴的サイズは含まれていません。
グラフ埋め込みは、グラフを幾何学的性質を持たせつつ低次元に写像させたものと考えると、埋め込みも系の長さ(有限サイズ効果)以外は相関長が無いと考えるのが自然に思えます
また仮にそうじゃない場合、低温極限でも何もないところから謎の長さが湧くことになります
そのため3に関しては予想を含むものの、1〜3のすべてを満たしているため、グラフ埋め込みは準長距離秩序とみなすのが自然なのではないでしょうか
準長距離秩序とみなしたときの問題点
どのような条件のとき、系が長距離秩序・準長距離秩序・無秩序(それ以外)になるのかは物理学で研究されており、以下の傾向が理論・シミュレーションで示されています
- スピン(埋め込み)の次元数 : 多いほど長距離秩序になりやすい。少ないと準長距離秩序・無秩序
- 1ノードあたりのエッジの数(平均配位数) : 大きいほど長距離秩序になりやすい。小さいと準長距離秩序・無秩序
実際、準長距離秩序で最も有名なXYモデルは、埋め込み次元2・平均配位数4であり、かなり低次元です
一方、グラフ埋め込みの場合、埋め込み次元数は $10^2 \sim 10^3$ であり、平均配位数は冪分布ならば発散します
そのため、この準長距離秩序をとるという仮説は、少なくとも物理における通説とは反します
埋め込み表現と長距離秩序
準長距離秩序の話はしたので、次は長距離秩序について話します
埋め込みにおいて長距離秩序に対応した現象は、過平滑化現象という学習の失敗ケースして知られています
過平滑化現象とは埋め込み(スピン)が全て似た方向になってしまうことで、特徴をベクトルから読み取れなくなる現象です
過平滑化現象とは、グラフ集約関数を何度も実施した場合に起こることが知られており、無限に実施すると必ず過平滑化するという理論的な研究もされています
グラフ集約とは、自身の埋め込みと隣接する埋め込みの両方を使うことで新しい埋め込みを作る処理のことであり、これにより実質的にそのノードはグラフの次近接まで考慮することができます
グラフ集約したものをグラフ集約することができ、2回・3回と行うことでグラフの3次近接・4次近接まで考慮することになります
そのため、グラフ集約を無数に繰り返した場合、平均場近似のように配位数が発散する世界になります
物理学において、平均場近似のような配位数が大きい世界は長距離秩序を持ちやすいことが知られているので、この結果には納得です
最後に
妄想
仮に埋め込みが準長距離秩序だとするとどんな嬉しいことがあるのかの妄想を話そうと思います
スピンモデルの秩序と埋め込みの関係は↓の感じになります
- 長距離秩序 : 過平滑化現象
- 準長距離秩序 : いい埋め込み
- 無秩序 : 学習失敗・初期状態
そして、準長距離秩序と無秩序の境界の条件・長距離秩序と無秩序の境界の条件は物理学で昔から研究されてきました
この条件を損失関数やモデルに組み込むことができれば、過平滑化現象が起きにくい・学習がうまくいきやすい方法が見つかるかもしれません
未学習の埋め込みは、ランダムに配置するので当然無秩序です。
そこから学習を行う過程で無秩序から準長距離秩序に変化したとすると、これはモデル内部で相転移現象が起きている可能性があります
現に、創発やgrokkingを相転移現象と絡める動きがされており、その文脈で議論できるかもしれません
一部の準長距離秩序ではトポロジカル欠陥が出ることが知られています。
もしグラフ埋め込みにもそのようなトポロジカルな構造が現れるのなら、その密度から埋め込みの良し悪しや学習をやめる目安がつく可能性があります
感想
正直に言いますと、自分の中でこれというオチがつけられずにいます
準長距離秩序だとしても次元数・配位数的に直感に反しますし、準長距離秩序じゃないなら低温極限でも何もないところから相関長が出てくるので直感に反します......
また物理的に考えるなら、グラフ埋め込みは直感的には過平滑化しやすそうな系であり、現実問題としてなぜ過平滑化しないグラフがあるのかも不思議ポイントです
個人的にはスピングラス相のように、反強磁性相互作用のフラストレーションが悪さしているんじゃないか、と睨んでいますが......お手上げです
少なくとも埋め込みは、既存のスピンモデルの枠組みではうまく説明がつかない点があり、不思議で興味深い現象と言えるんじゃないでしょうか
......願わくば、誰かわかる人がいたら教えてください
-
物理ではこれをボルツマン分布といい、省略したが成立するのは条件がある(平衡な時など)。ボルツマン分布はsoftmaxと異なり、確立質量関数だけでなく確率密度関数にも対応している ↩
-
正確には古典スピン ↩
-
$E[\cdots]$は平均 ↩
-
ここは相関長が発散する意味でマクロを使ってます ↩
-
https://proceedings.mlr.press/v119/wang20k.html https://arxiv.org/abs/2005.10242 ↩ ↩2