一行と注意
機械学習の理論に現れる積分は表現論を用いると簡単になる場合がある.
詳しい定義や定理の解説は他に任せるとして, この記事では両者の関係性を簡単に述べるに留まる.
機械学習に現れる積分
機械学習の基礎は統計学の理論から成り立っており, 統計学では与えられた関数の積分が重要になることが多い.
例えば $d$ 変量確率分布の確率密度関数 $p: X \rightarrow \mathbb{R}$ ($X \subset \mathbb{R}^d$)が与えられた時, 関数 $f: X \rightarrow \mathbb{R}$ の $p$ に関する期待値は次で求められる.
$$ \mathbb{E}_p[f] := \int _Xf(x)p(x)dx. $$
別の例では, ベイズ統計学においてはパラメータ $w \in W$ を持つ関数 $f: X\times W \rightarrow \mathbb{R}$ に対して, $w$ に関する確率密度関数 $\varphi: W \rightarrow \mathbb{R}$ を与えて,
$$ f^*(x) := \int_Wf(x\vert w)\varphi(w)dw, $$
で定義される $f^*(x)$ を求める操作があり, これにより周辺尤度や予測分布といった重要な関数が導かれる.
しかし一般に積分の値を求めることは難しく, 期待値や周辺尤度, 予測分布を容易に求められるごく限られた確率分布を扱うことが統計学での通例となってしまっている.
MCMC のように任意の関数の積分を近似的に求める方法も知られているが, 精度や計算量に難があり, 積分を解析的に求められるケースを探すことが重要な課題となっている.
等質空間とリー代数1
リー群とは多様体構造を持ち, 群演算が「多様体構造を保存する」もので, 等質空間はリー群と紐付いて定義されるベクトル空間の部分集合である.
群 $G$ について各要素 $g \in G$ をベクトル空間 $V$ からそれ自身への線型写像と見なして, $x \in V, g, h \in G$ に対して,
$$ (gh)(x) = g(h(x)), $$
が成り立ち, $G$ の単位元 $e$ が $V$ の恒等写像 ($e(x) = x$) となる時, $G$ は $V$ に作用するという.
作用は $V$ がベクトル空間でない場合にも定義されるが, 特に今回のように $V$ がベクトル空間で $g: V \rightarrow V$ を線型写像とした作用を表現 (representation) と呼び, 表現論の名はここから来ている.
$G$ が可逆な正方行列からなる群ならば, 行列のベクトルに対する積が線型写像であり, 上の条件を満たすことが容易に分かるのでイメージしやすいだろう2.
$V$ の部分集合 $X \subset V$ を取った時, 任意の $x \in X$ に対して,
$$ \varphi_x: G \ni g \mapsto g(x) \in X, $$
が全射となるならば $G$ は $X$ に推移的に作用する (acts transitively) といい, リー群 $G$ が推移的に作用する集合 $X$ を等質空間 (homogeneous space) と呼ぶ.
等質空間 $X$ 上の関数 $f: X \rightarrow \mathbb{R}$ について, $g \in G$ に対して定数 $c_g$ があり, 任意の $x \in X$ に対して,
$$ f(g(x)) = c_gf(x), $$
が成り立つ時 (さらに $g \mapsto c_g$ が乗法モノイドへの準同型の時), $f$ は 相対不変 (relatively invariant) であるといい, 相対不変な関数を用いたいくつかの形式の積分は解析的に計算できることが知られている ([1, Ishi] 等を参照)3.
なので統計学の理論において等質空間が現れてその上の積分を計算する必要がある場合は, この理論の応用で反復法や近似計算を経ず求められる可能性がある.
統計学に現れる等質空間の例
等質空間のクラスの1つに等質錐があり, それは正定値対称行列にいくつかの制限をかけたものの集合として記述できる.
典型例は正定値対称行列全体の集合 $\mathrm{Sym}_+(r, \mathbb{R})$ であり, $GL(r, \mathbb{R})$ を可逆行列全体からなる群とすると, $g \in GL(r, \mathbb{R}), x \in \mathrm{Sym} _+(r, \mathbb{R})$ に対して,
$$ g(x) := gxg^t \in \mathrm{Sym} _+(r, \mathbb{R}), $$
によって $GL(r, \mathbb{R})$ が $\mathrm{Sym}_+(r, \mathbb{R})$ に推移的に作用する.
この作用に関する $\mathrm{Sym} _+(r, \mathbb{R})$ 上の相対不変な関数は, 行列 $x$ の $p$-主小行列式 (左上の $p\times p$ 成分からなる行列の行列式) $\det_p{x}$ を用いて,
$$ f(x) = (\det{\!}_1{x})^{\alpha_1}(\det{\!}_2{x})^{\alpha_2}\dots(\det{\!}_r{x})^{\alpha_r}, $$
という形で書き下されることが分かっている.
この他の等質錐の例は [3, 野村] 等を参照.
一方で統計学では多変量確率分布の分散共分散行列として正定値対称行列が現れるため等質錐として扱うことができ, その上の積分に以上の理論を適用できる場合がある.
例えば参考文献 [2, Graczyk-Ishi-Kołodziejek] では分散共分散行列そのものではないが, 精度行列 (分散共分散行列の逆行列) をパラメータとするガウシアングラフィカルモデルについて, 特定の事前分布に対する尤度関数が等質錐上の積分で与えられ, 事後分布が解析的に求められることを示している.
参考文献
[1] H. Ishi, "Basic relative invariants associated to homogeneous cones and applications.", Journal of Lie Theory 11.1, 155-171, 2001.
等質錐上の相対不変関数とその積分への応用についての論文.
[2] P. Graczyk, H. Ishi, B. Kołodziejek, "Graphical Gaussian models associated to a homogeneous graph with permutation symmetries", arXiv:2207.13330, 2022.
表現論の機械学習への応用例.
[3] 野村 隆昭, "講義ノート", 九州大学, 2006--2013.
ページ下部の「特論」の項に等質錐周りの話題が並んでいる.
[4] 平井 武, "群上の不変積分の系譜", 第 29 回数学史シンポジウム, 2018.
相対不変関数と深く関わる不変測度に関するサーベイ.
[5] 小林 俊行, 大島 利雄, "リー群と表現論", 岩波書店, 2005.
表現論の本と言えばこれ.
リー群・リー環を中心にガッツリ学べる本.
[6] 渡辺 澄夫, "ベイズ統計の理論と方法", コロナ社, 2012.
ベイズ統計の本と言えばこれ.
「統計学では積分が重要」という感触を得たい時に読む本.