記事をご覧いただきありがとうございます！

感想やご指摘があればコﾒﾝﾄいただけると幸いです！

（この記事は英語の発音記号（特にアクセント）を意識してカタカナを書いてあります。例としては
　アクセント　→ アｸｾﾝﾄ（ˈəksɛnt）
　コメント　→ コﾒﾝﾄ（ˈkɑmɛnt）
などです。）

0. 問題設定

教師あり学習を考えます. つまり以下のような設定です:
『$D=(x,y)^{n}\in{(\mathbb{R}^{d_x}\times\mathbb{R}^{d_y})} ^n\in\mathbb{D}$が与えられた際,
　$x$から$y$を予測する学習機を作りたい.』

近年では,様々な学習機(モﾃﾞﾙ)があり,
勾配ブｰｽﾃｨﾝｸﾞ木,深層学習,ﾊﾟラﾐﾀｰが小さめの統計モﾃﾞﾙなどがあります.

この記事ではそれらの詳細には触れませんが,
精度を上げるためのｽタｯｷﾝｸﾞという技術の精度保証について考察していきます.

1. ｽタｯｷﾝｸﾞ (ˈstækɪŋ)

ｽタｯｷﾝｸﾞとは,
複数のモﾃﾞﾙ(m個)の出力値を入力値として別のモﾃﾞﾙ (ミﾀ・モﾃﾞﾙ)で再度学習して予測する技術のことです.

イﾐｼﾞとしては以下の通りです:

(上記の水色の矢印は0である場合も多いと思います.ただ,人間社会の会議や意思決定では水色を入れて考えることが一般的な気がします.)

この手法はとても良く機能しますが,実装や理論を少し間違えるとデｲﾀ・リ-ｹｼﾞ(ˈdeɪtə ˈlikəʤ)が起きてしいまい,正しい精度保障ができなくなってしまいます.

そのため,この記事では,精度保証とデｲﾀ・リ-ｹｼﾞに注目してｽタｯｷﾝｸﾞを紹介します.

精度保証とは,現在$D$に含まれていないデｲﾀに対しても当てはまりをよくするということです.それを保証する量としてしばしば使われるのが,汎化誤差です.

2. 汎化誤差 (ˌʤɛnrəlɪˈzeɪʃən ˈɛrər)

汎化誤差とは,様々な定義の仕方がありますが,真のデｲﾀの分布に対して当てはまりの良さの数値として定義されます(分布のKL情報量から算出する方法やある損失関数に関する期待値に関して計算する方法など).

今回は,ある損失関数($L(y,y)$)の期待値として定義します.デｲﾀ$D$が与えられた際の学習機$f$の損失関数は以下で定義されます:

$$
G(f,D)=\mathbb{E}_{(x,y)}[L(f(x|D),y)].
$$

ここで注意したいのが,

$D$に関する期待値は取らない(A)
$(x,y)$の分布は未知(B)

ということです.

上記のことからk フォｳﾙﾄﾞ・ｸロｽ・ｳﾞｧﾘデｲｼｮﾝという指標を汎化誤差の代わりに用いることが多いです.

3. k フォｳﾙﾄﾞ・ｸロｽ・ｳﾞｧﾘデｲｼｮﾝ (krɔs - ˌvæləˈdeɪʃən)

k-ｸロｽ・ｳﾞｧﾘデｲｼｮﾝとはデｲﾀ$D$を$k$個に分割して汎化誤差を近似的に見積もる手法です.
分割の仕方($cv$)は様々ありますが,総じて以下のように定義されます:

\begin{align}
CV(f,D,cv,k)=\frac{1}{k}\sum^{k}_{i=1}\frac{1}{|cv(D,i,{\rm valid})|}\sum_{(x,y)\in cv(D,i,{\rm valid})}L(f(x|cv(D,i,{\rm train})),y).
\end{align}

ここで,$cv:\mathbb{D}\times Int \times Str \rightarrow \mathbb{D}$として分割を与える関数です.イﾐｼﾞとしては以下の通りです:

これが汎化誤差を近似した値と言える根拠は,validに対して(cvを考慮して)期待値を取ると汎化誤差に一致するためです(*):

\begin{align}
\tilde{\mathbb{E}_{{\rm valid}}}[CV(f,D,cv,k)]=\frac{1}{k}\sum^{k}_{i=1}G(f,cv(D,i,train)).
\end{align}

(*:一部,学習機ではearly stoppingやtarget encodingなどの手法を用いる関係上,多少のvalidationのdata leakageを許容する考えもあり,現実社会では厳密に期待値を取っても一致しない状況が多いと考えられます.)

ここで注意したいのが,
汎化誤差の際にも言及した(A)の$f(x|D)$の$D$に対して期待値を取らないことにあります.

逆に言えば,$f$の条件付きパラメータ（f(・|×××)のxxxの部分）に期待値を取るデｲﾀを含めてはならないということです.

これに注意してｽタｯｷﾝｸﾞを考えます.

4. ｽタｯｷﾝｸﾞにおけるcvを考える

ｽタｯｷﾝｸﾞにおけるcvでは以下の二つのケースを私は考えました:

それぞれのモﾃﾞﾙでcvをして実装をした後,最後にそれらをｽタｯｷﾝｸﾞをする(I).
ｽタｯｷﾝｸﾞまでをcvをする(II).

イﾐｼﾞとしては以下の通りです（以下のtrainやvalidはその部分データに対応する出力値が入っていると考えてます）:

さて,どちらが数学的にｽタｯｷﾝｸﾞの精度保証を行うことができるでしょうか.

まず,IIが正しいことは直ちにわかります.
というのも,new validに対して期待値を取ろうとしてもその情報が学習機の学習に用いられていないためです.

しかし,Iは正しくありません.

というのも,Iにおけるnew validに対して期待を取ろうとすると,ｽタｯｷﾝｸﾞ前のcv(2,3,4)でそれらのvalidのデｲﾀを元に学習を行なっているからです.つまり,期待値を取ろうとすると,うまく計算できないことがわかります.

よって,ｽタｯｷﾝｸﾞの実装で精度を保証するにはIIの方法を用いる必要があります.

4.1. 実際は...?

しかし,実用上はどうでしょうか.

直感的には,Iでも上手くいく気もしますが,私には良くわかりません...(今度実装して公開できそうなら別途記事にいたします)

森脇大輔ら,『Kaggleで勝つデータ分析の技術』,技術評論社(2019)(amazon link)のp362を読む限りでは手法IIに似た手法では『学習データについては「目的変数を知っている」予測値になってしまい、テストデータについては「目的変数を知らない」予測値になっているので、学習データとテストデータで意味が違う特徴量となってしま』うため,精度は出ないと紹介されており,p364では,手法Iの実装がされているように思えました.