概要
OCAMI Workshop 2024, Statistical Models and Mathematical Optimization Based on Geometric Structures より.
$C^*$-環1という複素数を多次元化した代数構造があり, カーネル法は $C^ *$-環からなる目的変数を扱う手法に自然に拡張できる.
この記事では $C^ *$-環とその関連概念の定義, $C^ *$-環におけるカーネル, 及びカーネル法の根幹となるリプレゼンター定理の $C^ *$-環への拡張について解説する.
前提知識
再生核ヒルベルト空間の理解に必要な程度の位相空間論と関数解析の知識があれば十分なはず.
$C^*$-環の主要分野である作用素環論や, カーネル法自体についても理解しているといい.
また, 群・環・体とベクトル空間といった基礎的な代数学用語及び線型回帰を初めとする機械学習の用語は説明なしに使う.
解説
通常のカーネル法
まずは土台になるカーネル法について基本と課題を説明する.
以降, $K$ と書いて複素数体 $\mathbb{C}$ または実数体 $\mathbb{R}$ のいずれかを表すことにする.
$K$ は主にベクトル空間の係数体として扱い, 複素ベクトル空間と実ベクトル空間の両方で同様の議論ができることを表す.
カーネル法速習
ベクトル空間とは限らない説明変数集合2 $X$ と目的変数集合 $Y := K$ に対して, $X$ から $Y$ を予測する回帰問題を考える.
この一つの解法として $K$ 上ベクトル空間からなる特徴量空間 $W$ への特徴量変換 $\varphi: X \rightarrow W$ を経ての線型回帰があり, これは $W$ の内積 $\langle\cdot, \cdot\rangle_W$ が得られた時,
$$
f_w(x) := \langle w, \varphi(x)\rangle_W, \quad w \in W,
$$
で得られる $f_w: X \rightarrow Y$ が良い予測値を与えるような $w \in W$ を求める問題として定められる.
この時, データの組 $[x_i, y_i] \in X\times K$ ($i = 0, 1, \dots, n-1$) に関して $L^2$ 等の正則化項付き3二乗誤差が最小となる $f_w$ は,
$$
\begin{gather*}
\tilde{f}_\lambda(x) := \sum _{i=0}^{n-1}\lambda_ik(x_i, x), \\
k(x, x') := \langle\varphi(x), \varphi(x')\rangle_W, \quad \lambda_0, \lambda_1, \dots, \lambda _{n-1} \in K, \\
\end{gather*}
$$
で定まる $\tilde{f}_\lambda$ の形で書けて, $\lambda_0, \lambda_1, \dots, \lambda _{n-1} \in K$ を求める問題に帰着されることが知られている (リプレゼンター定理).
$k: X\times X \rightarrow K$ はカーネルと呼ばれ, 特に $W$ が無限次元の時に $w \in W$ を選ぶ操作を有限個の $\lambda_i \in K$ を選ぶ操作に変換するテクニックはカーネルトリックと呼ばれている.
このように, 有限次元とは限らないベクトル空間 $W$ の代わりに $W$ 上の内積を直接与える関数 $k: X\times X \rightarrow K$ を扱って統計的分析や機械学習を行う手法はいくつか知られており, 総称してカーネル法と呼ばれる.
上述の線型回帰に適用したものはカーネル線型回帰と呼ばれるが, 代表的な応用例であるためカーネル線型回帰のことを単にカーネル法と呼ぶことも多い.
$X$ 上のカーネル $k$ を取った時, $x \in X$ に対して定まる関数 $k_x: X \ni x' \mapsto k(x, x') \in K$ が張る関数空間には,
$$
\langle k_x, k_{x'} \rangle := k(x, x'), \quad x, x' \in X,
$$
から内積を定めることができる.
この内積によって完備化した関数空間 $\mathcal{H}_k$ は再生核ヒルベルト空間と呼ばれて特徴量変換の像 $\varphi(X) \subset W$ の張る空間を完備化したものと同型であることが分かっている4.
この時 $k$ は $\mathcal{H}_k$ の再生核と呼ばれ, 任意の $f \in \mathcal{H}_k, \ x \in X$ に対して,
$$
f(x) = \langle f, k_x\rangle,
$$
という再生核等式と呼ばれる等式を満たす.
一般に, ある再生核ヒルベルト空間の再生核は共役対称かつ半正定値という性質を持つことが分かっており, 逆に共役対称かつ半正定値な $X$ 上の二変数関数はいずれかの再生核ヒルベルト空間の再生核になることが知られている.
このような共役対称かつ半正定値な関数は $X$ 上の半正定値カーネル (または単にカーネル) と呼ばれて構成方法がいくつか知られており, 具体的な特徴量変換や再生核ヒルベルト空間を考えずにカーネル法で回帰等を行える手法として重宝されている.
カーネル法 (カーネル線型回帰) の課題
カーネル線型回帰を初めとするカーネル法では, 目的変数として複素数または実数を取ることが前提になっている.
これにより, 時系列データ等の多次元かつ各成分間に連続性のような関係があるデータを目的変数とした場合, データの構造を踏まえた回帰を行うことは難しい.
例えば $Y = K^d$ ($d \geq 2$) の時, 成分毎に $\tilde{f}_{\lambda^j}(x) = \sum _{i=0}^{n-1}\lambda^j_ik(x_i, x)$ ($j = 0, 1, \dots, d-1$) によるカーネル線型回帰を考えることはできるが, これに対して多次元の目的変数に関する二乗誤差で $\lambda^j_i$ の最適解を求めても, $j = 0, 1, \dots, d-1$ について個別に回帰を行った場合と等価になる.
この解消のためには, $f_w(x) = \langle w, \varphi(x)\rangle_W$ を与える内積 $\langle\cdot, \cdot\rangle_W$ で値域が多次元ベクトルとなるものを定めるか, 二変数の多次元ベクトル値関数 $k(x, x')$ で共役対称かつ半正定値に対応する性質を持つものを取れるようにする必要がある.
$C^*$-環, $C^*$-加群
前節で述べた課題を解決するために, 目的変数空間として $C^*$-環, 特徴量空間として $C^ *$-加群と呼ばれる構造のベクトル空間を利用できることが参考文献 [2]で述べられている.
ここではカーネル法を $C^ *$-加群に拡張するため必要な $C^ *$-環値内積や, それから定まるノルムによる $C^ *$-加群の完備性についても述べる.
$C^*$-環
$C^*$-環とは複素数を多次元化した集合で, 次のような積・ノルム (絶対値)・対合 (複素共役) を持つベクトル空間として定義される.
ベクトル空間 $\mathcal{A}$ が $C^*$-環であるとは, 以下が成り立つことをいう.
(1) $\mathcal{A}$ には結合的な積が定められていて, ベクトル空間の和との分配法則及びスカラー倍との結合法則が成り立つ,
(2) $\mathcal{A}$ にはノルム $\|\cdot\|_\mathcal{A}$ が定められていて, このノルムについて完備である,
(3) $\mathcal{A}$ には共役線型写像 ${}^*: \mathcal{A} \ni \alpha\mapsto \alpha^ * \in \mathcal{A}$ が定められていて, $(\alpha^ *)^ * = \alpha$ を満たす,
(4) 積・ノルム・${}^ *$の間に以下が成り立つ,
(4-1) $\alpha, \beta \in \mathcal{A}$ に対して $\|\alpha\beta\| _\mathcal{A} \leq \|\alpha\| _\mathcal{A}\|\beta\| _\mathcal{A}$ となり, 特に $\beta = \alpha^ *$ ならば等号が成り立つ,
(4-2) $\alpha, \beta \in \mathcal{A}$ に対して $(\alpha\beta)^ * = \beta^ *\alpha^ *$ が成り立つ (積に関して反準同型),
(4-3) $\alpha \in \mathcal{A}$ に対して $\|\alpha^ *\| _\mathcal{A} = \|\alpha\| _\mathcal{A}$ が成り立つ.
(1), (2) を満たす $\mathcal{A}$ はそれぞれ多元環, バナハ空間と呼ばれ, (3) の共役線型写像 ${}^*$ は $\mathcal{A}$ の対合と呼ばれる.
複素数体と実数体はそれぞれ $1$ 次元の複素ベクトル空間, 実ベクトル空間として $C^*$-環となることは容易に確認できる.
積とノルムとして複素数または実数の積と絶対値を取り, 対合として複素数の場合は複素共役, 実数の場合は恒等写像を考えれば, これらは上の定義を満たす.
それ以外の $C^ *$-環の例として一般の集合上の有界関数全体からなる空間やヒルベルト空間上の有界線型作用素からなる空間 (有限次元であれば正方行列の空間) が知られており, 応用上は時系列データ等の関数と見なすことができるデータとして現れる.
この記事の方法で, これらを目的変数とした時のカーネル法の適用が可能になる.
$C^*$-加群
複素数を拡張して $C^*$-環が定義されることから, ベクトル空間の係数体として複素数の代わりに $C^ *$-環を当てはめたものが $C^ *$-加群である.
一般の環 $R$ に対して $R$-加群または $R$ 上の加群とは, ベクトル空間の定義における係数体を $R$ に置き換えたもので, 可換群に $R$ による分配的・結合的なスカラー倍が定められたものである.
($R$-) 加群は web 上の解説記事も豊富なので詳細な定義は省くが, 加群はベクトル空間になるとは限らないこと, 単位元を持たない環上の加群も考えられること, また加群のスカラー倍に左右の区別があってここでは左からのものを主に扱う (つまり左加群を扱う) ことに注意しておこう.
多元環 ($C^*$-環の定義 (1) 参照) はその和と積によって通常の環とも見なせるため多元環上の加群を考えることができ, 特に $\mathcal{A}$ が $C^ *$-環の場合, $\mathcal{A}$-加群 $\mathcal{M}$ を $C^ *$-加群と呼ぶ.
また, これ以降 $C^ *$-環 $\mathcal{A}$ 上の $C^ *$-加群 $\mathcal{M}$ は $K$ 上ベクトル空間としての構造も持つと仮定し, 任意の $\lambda \in K, \alpha \in \mathcal{A}, x \in \mathcal{M}$ に対して,
$$
\lambda(\alpha x) = \alpha(\lambda x) = (\lambda \alpha)x,
$$
が成り立つとしておく5.
$C^*$-環の非負元
$C^*$-環には積を用いて非負 (正) のベクトルを定めることができる.
複素数または実数においては, 実数に定められる順序 (大小関係) を利用して非負の数を定めるが, $C^ *$-環は実部やその順序を定めることが難しいため, 非負の数はある複素数 $z \in \mathbb{C}$ によって $z\bar{z}$ と書かれるという特徴付けを利用して $C^ *$-環における非負を定義する6.
$C^*$-環 $\mathcal{A}$ に対して, $\alpha \in \mathcal{A}$ がある $\beta \in \mathcal{A}$ によって $\alpha = \beta\beta^ *$ と書ける時, $\alpha$ は $\mathcal{A}$ において非負7であるという.
$\alpha, \beta \in \mathcal{A}$ に対して $\beta-\alpha$ が非負となる時 $\alpha \leq_\mathcal{A} \beta$ または $\beta \geq_\mathcal{A} \alpha$ と書いて, $C^ *$-環における大小関係を定義する8.
この大小関係は全ての元の間には定義されない半順序となるが, 次の $C^ *$-環値内積の定義の他, $C^ *$-環を値域とする関数の最適化問題やそこでの勾配降下法を考える際に利用される.
$C^*$-環値内積
前節で定めた $C^*$-環の非負性によって, カーネル法の課題の節で述べた「内積で値域が多次元ベクトルとなるもの」を $C^ *$-加群上で定義することができる.
通常の内積の抽象定義で使われるスカラー倍や係数体の複素共役, 非負性といった概念は全て $C^ *$-加群に対しても拡張して定義されているため, それらを $C^ *$-環の言葉に置き換えればいい.
$C^*$-環 $\mathcal{A}$ 及びその上の $C^ *$-加群 $\mathcal{M}$ に対して, 以下を満たす二変数写像 $\mathcal{M}\times\mathcal{M} \ni [x, y] \mapsto \langle x, y\rangle_\mathcal{M} \in \mathcal{A}$ を $\mathcal{A}$ 値内積 ($C^ *$-環を具体的に指定しない場合は $C^ * $-環値内積) と呼ぶ.
(1) $\alpha, \beta \in \mathcal{A}$ と $x, y, z \in \mathcal{M}$ に対して $\langle\alpha x+\beta y, z\rangle_\mathcal{M} = \alpha\langle x, z\rangle_\mathcal{M}+\beta\langle y, z\rangle_\mathcal{M}$ が成り立つ,
(2) $x, y \in \mathcal{M}$ に対して $\langle x, y\rangle_\mathcal{M}^* = \langle y, x\rangle_\mathcal{M}$ が成り立つ,
(3) $x \in \mathcal{M}$ に対して $\langle x, x\rangle_\mathcal{M} \geq_\mathcal{A} 0$ が成り立ち, $x = 0$ の時に限り等号が成立する.
通常の内積の定義と同様に (1), (2) を合わせると第二変数に関する共役線型性が得られるが, $C^*$-環の積の非可換性と対合の反準同型性から,
$$
\langle x, \alpha y+\beta z\rangle_\mathcal{M} = \langle x, y\rangle_\mathcal{M}\alpha^*+\langle x, z\rangle_\mathcal{M}\beta^ *,
$$
と係数が右側に出ることに注意しておこう.
また, $C^*$-加群はベクトル空間でもあると仮定したことに注意して, 以降 $C^ *$-環値内積は第一変数について線型 (つまり第二変数について共役線型) であると仮定しておく.
$C^*$-環値絶対値
$C^*$-環の理論から $C^ *$-環の任意の非負元はある一意な非負元の二乗で書けることが知られており, そこから $C^ *$-加群としての絶対値 ($C^ *$-環に値を取るノルム) を定義できる.
$C^*$-環 $\mathcal{A}$ 上の $C^ *$-加群 $\mathcal{M}$ に $\mathcal{A}$ 値内積 $\langle\cdot, \cdot\rangle_\mathcal{M}$ が定められているとした時, $x \in \mathcal{M}$ に対して $\langle x, x\rangle_\mathcal{M}$ が非負であることに注意すると, $\langle x, x\rangle_\mathcal{M} = |x|_\mathcal{M}^2$ となる唯一の非負の $|x| _\mathcal{M} \in \mathcal{A}$ を $x$ の $\mathcal{A}$ 値 ($C^ *$-環値) 絶対値と呼ぶ.
$\mathcal{A}$ 値内積の性質から $|x| _\mathcal{M} = 0$ となるのは $x = 0$ の場合に限ることが直ちに分かり, また $\mathcal{A}$ 値内積は (共役) 線型という仮定から任意の $\lambda \in K, x \in \mathcal{M}$ に対して,
$$
|\lambda x|_\mathcal{M} = |\lambda|\cdot|x| _\mathcal{M},
$$
が成り立つことが導かれる.
$C^ *$-環値絶対値は後に $C^ *$-加群のノルムの定義と拡張したリプレゼンター定理の記述に用いられる.
ヒルベルト $C^*$-加群
前節と前々節で $C^*$-加群の内積と絶対値を定めたので完備性を論じたいところだが, それらの値域が $C^ *$-環であるため距離が普通には定まらず, 改めて $C^ *$-加群にノルムを定める必要がある.
$C^ *$-環 $\mathcal{A}$ 上の $C^ *$-加群 $\mathcal{M}$ とその $\mathcal{A}$ 値内積 $\langle\cdot, \cdot\rangle_\mathcal{M}$ に対して,
$$
\|x\|_\mathcal{M} := \||x| _\mathcal{M}\| _\mathcal{A},
$$
と置く.
ここまでの仮定から $\|\cdot\|_\mathcal{M}$ は $\mathcal{M}$ のベクトル空間としてのノルムとなり, $\mathcal{M}$ がこのノルムによって完備となる時, これをヒルベルト $C^*$-加群と呼ぶ.
再生核ヒルベルト $C^*$-加群のカーネル法
カーネル法における諸概念を $C^*$-環及び $C^ *$-加群に拡張すると, $C^ *$-加群への特徴量変換に関してカーネル法と類似の議論ができる.
通常のカーネル法について大雑把に再掲すると,
- ベクトル空間への特徴量変換 $\varphi$ と内積 $\langle\cdot, \cdot\rangle$ からカーネル $k(\cdot, \cdot) := \langle\varphi(\cdot), \varphi(\cdot)\rangle$ を構成
→ カーネルを使って元の集合から関数空間への写像 $x \mapsto k_x := k(x, \cdot)$ を構成
→ $k_x$ が張る空間に内積を入れて完備化して再生核ヒルベルト空間を構成
→ 再生核ヒルベルト空間において再生核 $k_x$ に関する再生核等式を確認
→ 半正定値かつ共役対称な二変数関数がいずれかの再生核ヒルベルト空間の再生核となることを確認
という流れで関連概念の全体像を確認でき, 再生核ヒルベルト空間による機械学習の実用のためにリプレゼンター定理が重要になるのであった.
これを $C^*$-加群への特徴量変換から始めてもほぼ同じ流れでカーネル法の拡張手法が得られることを見ていく.
再生核ヒルベルト $C^*$-加群
$\mathcal{A}$ を単位元を持つ $C^*$-環, $\mathcal{M}$ を $\mathcal{A}$ 値内積 $\langle\cdot, \cdot\rangle_\mathcal{M}$ を持つ $\mathcal{A}$ 上の $C^ *$-加群とする.
一般の集合 $X$ から $\mathcal{M}$ への写像 $\varphi: X \rightarrow \mathcal{M}$ が与えられた時, $x \in X$ に対して,
$$
k_x: X \ni y \mapsto \langle\varphi(x), \varphi(y)\rangle_\mathcal{M} \in \mathcal{A},
$$
で定まる $\mathcal{A}$ 値関数が $\mathcal{A}$ によるスカラー倍で張る $C^*$-加群, つまり,
$$
\mathcal{M}_k^0 := \mathrm{span}(\{k_x \ \vert \ x \in X\}) = \left\{\sum _{i=0}^{n-1}\alpha_ik _{x_i} \ \middle\vert \ \alpha_i \in \mathcal{A}, \ x_i \in X\right\},
$$
を考えると,
$$
\langle k_x, k_y\rangle_{\mathcal{M}_k^0} := k_x(y), \quad x, y \in X,
$$
から $\mathcal{M}_k^0$ の $\mathcal{A}$ 値内積 $\langle\cdot, \cdot\rangle _{\mathcal{M}_k^0}$ を構成することができる.
この時, $\mathcal{M}_k$ を $\|\cdot\| _{\mathcal{M}_k^0}$ に関する $\mathcal{M}_k^0$ の完備化として $\langle\cdot, \cdot\rangle _{\mathcal{M}_k}$ を $\langle\cdot, \cdot\rangle _{\mathcal{M}_k^0}$ の拡張によって定まる $\mathcal{M}_k$ の $\mathcal{A}$ 値内積とすると, 任意の $f \in \mathcal{M}_k, x \in X$ に対して,
$$
f(x) = \langle f, k_x \rangle_{\mathcal{M}_k},
$$
という再生核等式 (と同じ形の式) を満たし, $\mathcal{M}_k$ は再生核ヒルベルト $C^*$-加群, $k(x, y) := k_x(y)$ はその再生核と呼ばれる.
$C^*$-環値半正定値カーネル
前節の設定において, $X$ 上の二変数 $\mathcal{A}$ 値関数 $k: X\times X \rightarrow \mathcal{A}$ がある再生核ヒルベルト $C^*$-加群の再生核となるためには, $k$ が以下の条件を満たす $\mathcal{A}$ 値 ($C^ * $-環値) 半正定値カーネルであることが必要である.
(1) $x, y \in X$ に対して $k(x, y) = k(y, x)^*$,
(2) $x_0, x_1, \dots, x_{n-1} \in X, \alpha_0, \alpha_1, \dots, \alpha_{n-1} \in \mathcal{A}$ に対して,
$$
\sum_{i, j=0}^{n-1}\alpha_ik(x_i, x_j)\alpha_j^* \geq_\mathcal{A} 0.
$$
$\mathcal{A}$ 値内積及び $\mathcal{A}$ 値半正定値カーネルの性質から, 任意の再生核ヒルベルト $C^ *$-加群の再生核は $C^ *$-環値半正定値カーネルとなることが分かる.
これらのことから, $C^*$-環値半正定値カーネルを選ぶところから始めることで, 対応する $C^ *$-加群の具体形を考えずにカーネル法を用いることができるようになる.
再生核ヒルベルト $C^*$-加群に関するリプレゼンター定理
ここまでの再生核ヒルベルト $C^*$-加群と再生核の議論は, $\mathbb{C}$ 上の再生核ヒルベルト空間に関連する定義・命題に現れる $\mathbb{C}$ を $C^ *$-環に置き換えるだけで成立していた.
それに対して, カーネルトリックを用いるためのリプレゼンター定理を再生核ヒルベルト $C^ *$-加群に拡張するためには条件を追加する必要がある.
ここで, $\mathcal{A}_+$ を $C^*$-環 $\mathcal{A}$ の非負な要素全体からなる集合として, また, $\mathcal{A}$ 値関数 $f: \mathcal{A} \rightarrow \mathcal{A}$ が $\mathcal{A}$ に関して単調増加であるとは, 任意の $\alpha, \beta \in \mathcal{A}$ に対して $\alpha \leq _\mathcal{A} \beta$ ならば $f(\alpha) \leq _\mathcal{A} f(\beta)$ が成り立つことを言う.
以下のリプレゼンター定理に現れるように, 単調増加性は $f$ の定義域・値域が $\mathcal{A}$ の部分集合である場合にも定めることができる.
定理 (再生核ヒルベルト $C^*$-加群のリプレゼンター定理).
$X$ を一般の集合, $\mathcal{A}$ を $C^*$-環として, $k: X\times X \rightarrow \mathcal{A}$ を $\mathcal{A}$ 値半正定値カーネル, $\mathcal{M}_k$ を $k$ に対応する再生核ヒルベルト $C^ *$-加群とする.
この時, 与えられた $[x_i, \alpha_i] \in X\times\mathcal{A}$ ($i = 0, 1, \dots, n-1$) について, 任意の関数 $h: X\times\mathcal{A}\times\mathcal{A} \rightarrow \mathcal{A} _+$ 及び $\mathcal{A}$ に関して単調増加な関数 $g: \mathcal{A} _+ \rightarrow \mathcal{A} _+$ に対して,
$$
l(f) := \sum_{i=0}^{n-1}h(x_i, \alpha_i, f(x_i))+g(|f|_{\mathcal{M}_k}) \in \mathcal{A} _+, \quad f \in \mathcal{M}_k,
$$
を $\mathcal{A}$ の順序の意味で最小化する問題を考える.
すると, $\mathcal{M}_k^0 = \mathrm{span}(\{k_x: y \mapsto k(x, y) \ \vert \ x \in X\})$ が閉, つまり $\mathcal{M}_k^0 = \mathcal{M}_k$ が成り立つならば, この最小化問題の解 $f^* \in \mathcal{M}_k$ が存在すれば,
$$
f^* = \sum_{i=0}^{n-1}\beta_ik_{x_i}, \quad \beta_0, \beta_1, \dots, \beta_{n-1} \in \mathcal{A},
$$
という形で得られる.
この定理は再生核ヒルベルト空間に関するリプレゼンター定理と同様に, $\alpha_i \sim f^*(x_i)$ の近似が成り立つ $f^ * \in \mathcal{M}_k$ を求める問題を $\mathcal{M}_k$ ではなく $\mathcal{A}$ から有限個の係数を選ぶ問題に変換している.
これにより, 例えば正則化項付き線型回帰を $C^ *$-環に拡張した問題にカーネルトリックを利用できて, $C^ *$-加群への特徴量変換に基きながら具体的には $C^ *$-環のみを考えれば十分な手法が得られることを表している.
ただし $\mathcal{M}_k^0$ が閉という少し厄介な条件が加えられており, 参考文献 [4]9では次のようにより緩い条件に置き換える代わり近似的に解を与える変形版も示されている.
定理 (再生核ヒルベルト $C^*$-加群の近似リプレゼンター定理).
上述の再生核ヒルベルト $C^*$-加群のリプレゼンター定理の設定において, $h$ が第三変数に関して連続とする ($\mathcal{M}_k^0$ は閉とは限らないとして良い).
すると $l(f)$ の最小化問題が解 $f^ * \in \mathcal{M}_k$ を持つならば, 任意の $\epsilon \gt 0$ に対してある $\beta^\epsilon_0, \beta^\epsilon_1, \dots, \beta^\epsilon _{n-1} \in \mathcal{A}$ があって,
$$
\left\|l(f^*)-l\left(\sum_{i=0}^{n-1}\beta^\epsilon_ik_{x_i}\right)\right\|_\mathcal{A} \leq \epsilon,
$$
が成り立つ.
つまり $\sum_{i=0}^{n-1}\beta^\epsilon_ik_{x_i}$ という形で $f^*$ の任意精度の近似解が得られる.
ここで加えられた目的関数が連続という条件は, 機械学習や統計的手法の大抵の損失関数が連続関数であることからあまり強い制約にならないことが分かる.
例えば線型回帰の ($C^*$-環値) 二乗誤差は連続関数であり, 任意の $C^ *$-加群への特徴量変換を経た $C^ *$-環値線型回帰問題はこの定理により近似的に解かれる.
参考文献
具体的な応用例や解法については以下の参考文献を参照.
[1] Reproducing kernel Hilbert $C^*$-module for data analysis / Yuka Hashimoto / Statistical Models and Mathematical Optimization Based on Geometric Structures
[2] Reproducing kernel Hilbert $C*$-module and kernel mean embeddings / Y. Hashimoto, et al. / arXiv:2101.11410v2
[3] Hilbert $C^∗$-module for analyzing structured data / Y. Hashimoto, et al. / Matrix and Operator Equations and Applications, pp.633-–659
[4] Spectral Truncation Kernels: Noncommutativity in $C^*$-algebraic Kernel Machines / Y. Hashimoto, et al. / arXiv:2405.17823v4
[5] Reproducing kernels in modules over $C^∗$-algebras and their applications / Shigeru Itoh / Journal of Mathematics in Nature Science, no.37, pp.1--20
[6] Inner product modules over $B^*$-algebra / William L. Paschke / Trans. American Mathematical Society, vol.182, pp.443--468
[7] 作用素環論入門 / 戸松 玲治 / 共立出版
$C^*$-環までに留まるが理論をしっかり学びたいならこれ.
-
「シー・スター・環」と読む. 検索が難しくなりがちで, 探すなら「作用素環論」等の関連する単語に頼ることをお勧めする. ↩
-
実際にベクトル空間ではない説明変数集合としては, 例えばカテゴリカル変数の集合やそれと連続変数空間との直積集合が考えられる. ↩
-
正確に書くと単調増加な関数 $r$ を使って $R(w) = r(\|w\|)$ と書ける正則化項ならば適用できる. ↩
-
この仮定は参考文献 [5], [6] による. これを仮定しなくても $C^*$-加群のノルム $\|\cdot\|_\mathcal{M}$ ぐらいまでは定義できるが, $\|\cdot\| _\mathcal{M}$ が三角不等式を満たすとは限らないため距離を定めることができずに完備性の議論ができなくなる. なお, $C^ *$-環 $\mathcal{A}$ が単位元 $1 _\mathcal{A}$ を持つならば, 仮定と関係なく $\mathcal{A}$ 上の加群 $\mathcal{M}$ には $
\lambda x := (\lambda1 _\mathcal{A})x$ によるスカラー倍が定められて $\mathcal{M}$ は $K$ 上ベクトル空間となる. ↩ -
参考文献 [7] ではスペクトラムから非負を定義してここでの非負の定義と同値になることを示している. 行列の正定値性との関連も明確になる議論なので, 余裕があったら一読されたい. ↩
-
参考文献らを初めとして, これを正という文章も多い. ↩
-
これは複素数において実数にのみ定められる大小関係より拡張されていて, 複素数では $a+ib \leq_\mathbb{C} c+id \Leftrightarrow a \leq_\mathbb{R} c \ \text{and} \ b = d$ ($a, b, c, d \in \mathbb{R}$) という関係になる. ↩
-
この記事を書いたきっかけの [1], [3] では $W^*$-環 (フォン・ノイマン環) と呼ばれる特殊な $C^ *$-環を使った近似リプレゼンター定理を示していたが, 書いている間に一般の $C^ *$-環に拡張した定理を示した論文を見つけたのでここで引用した. ↩