はじめに
以下にある前回の記事では、Double/Debiased Machine Learning（以下，DML）を古典的な回帰分析やFWL定理の延長として，直感的に整理した．
部分線形回帰モデル
$$
Y_{i} = D_{i} \theta_{0} + g_{0} (\boldsymbol{X}_{i}) + U_{i}
$$
に対して，$Y_i$と$D_i$から$\boldsymbol{X}_i$によって説明できる部分をそれぞれ取り除き，残差同士の関係から$\theta_0$を推定する，というのが基本的なアイデアであった．しかしながら，この説明だけでは「なぜそれで機械学習を使っても統計的推論ができるのか」というDMLの重要な部分が残っている．単にランダムフォレストや勾配ブースティングで$Y_i$と$D_i$を予測し，その残差を回帰すればよいのであれば，DMLという特別な枠組みを持ち出す必要はない．
DMLの理論的なポイントは，局外母数の推定誤差を，関心のあるパラメータの推定に一次ではなく二次の大きさでしか効かないようにすることと，局外母数を推定したことによって生じる過学習との依存関係を断ち切ることにある．Chernozhukov et al．（2018）は，前者をネイマン直交スコア，後者を交差適合によって実現することで，高次元で複雑な局外母数を機械学習で推定した場合でも，低次元の関心のあるパラメータについて$\sqrt{n}$一致性と漸近正規性を得る枠組みを提示している．
本記事では，前回の記事よりも一段理論的に踏み込み，以下の点を整理する．
- DMLを一般的な推定方程式としてどのように表現するのか
- なぜ機械学習によるナイーブなPlug-in推定では問題が生じるのか
- ネイマン直交性とは数学的に何を意味するのか
- なぜネイマン直交性によって局外母数の推定誤差が二次の誤差になるのか
- なぜ直交性によって局外母数の推定誤差が二次の誤差になるのか
- 局外母数にはどの程度の収束速度が必要なのか
- どのように$\sqrt{n}$一致性，漸近正規性，標準誤差が導かれるのか
なお，この記事では前回の記事と同様に部分線形回帰モデルを中心に議論する．平均処置効果（Average Treatment Effect: ATE）や条件付き平均処置効果（Conditional Average Treatment Effect: CATE）まで話を広げるよりも，まず1つのモデルについてDMLの理屈をきちんと追った方が，全体像を理解しやすいと，個人的には思っている．
セットアップ：部分線形回帰モデル
観測値を
$$
W_{i} = (Y_{i}, D_{i}, \boldsymbol{X}_{i})
$$
とする．ここで，$Y_i$はアウトカム，$D_i$は処置あるいは説明変数，$\boldsymbol{X}_i$は共変量である．
以下の部分線形回帰モデルを考える．
$$
Y_{i} = D_{i} \theta_{0} + g_{0} (\boldsymbol{X}_{i}) + U_{i}, \quad \mathbb{E} [U_{i} | D_{i}, \boldsymbol{X}_{i}] = 0
$$
また
$$
D_{i} = m_{0} (\boldsymbol{X}_{i}) + V_{i}, \quad \mathbb{E} [V_{i} | \boldsymbol{X}_{i}] = 0
$$
とする．これはChernozhukov et al．（2018）の部分線形回帰モデルの基本設定である．関心があるのは$\theta_0$である．一方，$g_{0} (\boldsymbol{X})$と$m_{0} (\boldsymbol{X})$は，$\theta_0$を推定するためには必要であるものの，それ自体が主たる関心対象ではない．そこで，
$$
\eta_{0} = (g_{0}, m_{0})
$$
を局外母数（Nuisance Parameter）と呼ぶ．
ここで「母数」と呼んでいるが，$g_0$や$m_0$は有限個の係数から構成されるとは限らない．むしろDMLが想定しているのは，これらがノンパラメトリックな関数であったり，高次元のパラメータであったりする場合である．
例えば，
$$
g_{0} (\boldsymbol{X}) = \boldsymbol{X}^{\top} \boldsymbol{\beta}_{0}
$$
$$
m_{0} (\boldsymbol{X}) = \boldsymbol{X}^{\top} \boldsymbol{\gamma}_{0}
$$
と置けば通常の線形回帰の世界に戻る．DMLが主に考えているのは，このような強い関数形の仮定を置かず，$g_{0} (\boldsymbol{X})$，$m_{0} (\boldsymbol{X})$を機械学習などで柔軟に推定したい場合である．
DMLを推定方程式として考える
DMLを理解するうえで，推定量そのものではなく，推定方程式（Estimating Equation）から考えると見通しがよい．一般に，低次元の関心のあるパラメータ$\theta_0$と局外母数$\eta_0$について，
$$
\mathbb{E} [\psi (W; \theta_{0}, \eta_{0})] = 0
$$
を満たすスコア関数$\psi (W; \theta_{0}, \eta_{0})$を考える．Chernozhukov et al．（2018）では，このモーメント条件をDMLの一般的な出発点としている．
もし$\eta_0$が既知ならば，サンプル版の推定方程式
$$
\dfrac{1}{n} \sum_{i=1}^{n} \psi (W; \theta_{0}, \hat{\eta}) = 0
$$
を解くことになる．一見するとこれで問題なさそうに思える．しかし，ここで$\hat{\eta}$がLassoやランダムフォレスト，勾配ブースティングのような機械学習によって推定されると，その推定誤差を無視することができない場合がある．
ナイーブなPlug-in推定では何が問題になるのか
まず，ネイマン直交性を持たないナイーブなスコアを考える．部分線形回帰モデルに対して，
$$
\varphi (W; \theta , g) = [Y - D \theta - g(\boldsymbol{X})] D
$$
とする．真の$g_0$がわかっていれば，
$$
\mathbb{E} [\varphi (W; \theta_{0} , g_{0})] = 0
$$
であり，$\theta_0$を識別できる．そこで，$g_0$を機械学習によって推定し，
$$
\hat{\theta} = \left( \dfrac{1}{n} \sum_{i=1}^{n} D_{i}^{2} \right)^{-1} \sum_{i=1}^{n} D_{i} \left\lbrace Y_{i} - \hat{g} (\boldsymbol{X}_{i}) \right\rbrace
$$
とすることを考える．このとき，
$$
Y_{i} = D_{i} \theta_{0} + g_{0} (\boldsymbol{X}_{i}) + U_{i}
$$
を代入すると，
$$
\hat{\theta} - \theta_{0} = \left( \dfrac{1}{n} \sum_{i=1}^{n} D_{i}^{2} \right)^{-1} \left[ \dfrac{1}{n} \sum_{i=1}^{n} D_{i} U_{i} + \dfrac{1}{n} \sum_{i=1}^{n} D_{i} \left\lbrace g_{0} (\boldsymbol{X}_{i}) - \hat{g} (\boldsymbol{X}_{i}) \right\rbrace \right]
$$
となる．$\sqrt{n}$を掛けると，
$$
\sqrt{n} \left( \hat{\theta} - \theta_{0} \right) = \left( \dfrac{1}{n} \sum_{i=1}^{n} D_{i}^{2} \right)^{-1} \left[ \dfrac{1}{\sqrt{n}} \sum_{i=1}^{n} D_{i} U_{i} + \dfrac{1}{\sqrt{n}} \sum_{i=1}^{n} D_{i} \left\lbrace g_{0} (\boldsymbol{X}_{i}) - \hat{g} (\boldsymbol{X}_{i}) \right\rbrace \right]
$$
となる．第1項は比較的扱いやすい．適当な条件のもとでは中心極限定理によって漸近正規分布に従う．問題は第2項
$$
\dfrac{1}{\sqrt{n}} \sum_{i=1}^{n} D_{i} \left\lbrace g_{0} (\boldsymbol{X}_{i}) - \hat{g} (\boldsymbol{X}_{i}) \right\rbrace
$$
である．$D_i=m_0(\boldsymbol{X}_i)+V_i$なので，この項には概ね
$$
\dfrac{1}{\sqrt{n}} \sum_{i=1}^{n} m_{0} (\boldsymbol{X}_{i}) \left\lbrace g_{0} (\boldsymbol{X}_{i}) - \hat{g} (\boldsymbol{X}_{i}) \right\rbrace
$$
が含まれる．
ここで，一般には
$$
\mathbb{E} [m_{0} (\boldsymbol{X}) \lbrace g_{0} (\boldsymbol{X}) - \hat{g} (\boldsymbol{X}) \rbrace] = 0
$$
は成り立たない．つまり，$\hat{g}$の推定バイアスが$\hat{\theta}$に一次の大きさでそのまま影響する．Chernozhukov et al．（2018）は，これを正則化バイアス（Regularization Bias）の問題として説明している．高次元の機械学習では，分散を抑えるために正則化を行うことが多く，その結果として局外母数には無視できないバイアスが残り得る．
例えば，$\hat{g}$の$L_2$誤差が
$$
\lVert \hat{g} - g_{0} \rVert_{P, 2} = O_{P} (n^{-\phi_{g}})
$$
で，
$$
\phi_{g} < \dfrac{1}{2}
$$
だとする．ナイーブな推定量では，局外母数の誤差に由来する項が概ね
$$
\sqrt{n} n^{- \phi_{g}} = n^{\frac{1}{2} - \phi_{g}}
$$
の大きさになり得る．したがって，$\phi_g<1/2$ならば，この項は消えるどころか大きくなってしまう可能性がある．機械学習による予測性能がそれなりによいことと，$\theta_0$について$\sqrt{n}$一致な推定ができることは，まったく異なる話なのである．
ネイマン直交性
そこでDMLでは，局外母数の推定誤差に対して鈍感なスコアを用いる．これがネイマン直交スコア（Neyman Orthogonal Score）である．
一般的に，
$$
M(\theta , \eta) = \mathbb{E} [\psi (W; \theta , \eta)]
$$
と置く．真の値では，$M(\theta_{0} , \eta_{0}) = 0$である．
ここで，局外母数$\eta_0$から別の$\eta$へ向かう経路
$$
\eta_{r} = \eta_{0} + r(\eta - \eta_{0}), \quad 0 \leq r < 1
$$
を考える．ネイマン直交性とは，
$$
\left. \dfrac{\partial}{\partial r} \mathbb{E} [\psi \left( W; \theta_{0} , \eta_{0} + r(\eta - \eta_{0}) \right)] \right|_{r=0} = 0
$$
が成立することである．これは$\eta$が有限次元である必要はないため，通常の偏微分ではなく，関数方向への微分であるガトー微分（Gâteaux Derivative）として定義される．Chernozhukov et al．（2018）でも，このPath-wise微分が$0$になることをネイマン直交性として定義している．
この式はやや抽象的に見えるが，意味は比較的単純である．$\eta_0$を少しだけ間違えて
$$
\eta_{0} + r(\eta - \eta_{0})
$$
を使ったとき，モーメント条件がどの程度変わるかを考える．その$r$についての一次微分が$0$である，というのがネイマン直交性である．つまり，局外母数を少し間違えたとしても，モーメント条件への一次の影響が消える．
部分線形回帰モデルでネイマン直交性を確認する
部分線形回帰モデルでは，次のスコアを考える．
$$
\psi (W; \theta, \eta) = \lbrace Y - D \theta - g(\boldsymbol{X}) \rbrace \lbrace D - m(\boldsymbol{X}) \rbrace
$$
ここで，$\eta = (g, m)$である．このスコアはChernozhukov et al．（2018）が部分線形回帰モデルについて提示しているネイマン直交スコアである．このスコアが本当に直交性を満たしているのかを確認する．
任意の摂動方向$h_g$と$h_m$について，
$$
g_{r} = g_{0} + r h_{g}
$$
$$
m_{r} = m_{0} + r h_{m}
$$
とする．このとき，
$$
M(r) = \mathbb{E} \left[ \lbrace Y - D \theta_{0} g_{r} (\boldsymbol{X}) \rbrace \lbrace D - m_{r} (\boldsymbol{X}) \rbrace \right]
$$
である．部分線形回帰モデルより
$$
Y - D \theta_{0} - g_{0} (\boldsymbol{X}) = U
$$
また，
$$
D - m_{0} (\boldsymbol{X}) = V
$$
なので，
$$
M(r) = \mathbb{E} \left[ \lbrace U - r h_{g} (\boldsymbol{X}) \rbrace \lbrace V - r h_{m} (\boldsymbol{X}) \rbrace \right]
$$
となる．展開すると，
$$
M(r) = \mathbb{E} [UV] - r \mathbb{E} [U h_{m} (\boldsymbol{X})] - r \mathbb{E} [V h_{g} (\boldsymbol{X})] + r^{2} \mathbb{E} [h_{g} (\boldsymbol{X}) h_{m} (\boldsymbol{X})]
$$
である．ここで，$\mathbb{E} [U | \boldsymbol{X}, D] = 0$なので$\mathbb{E} [U | \boldsymbol{X}] = 0$である．したがって，$\mathbb{E} [U h_{m} (\boldsymbol{X})] = 0$となる．同様に，$\mathbb{E} [V | \boldsymbol{X}] = 0$なので$\mathbb{E} [V h_{g} (\boldsymbol{X})] = 0$である．また，$\mathbb{E} [UV] = 0$も成立する．したがって，
$$
M(r) = r^{2} \mathbb{E} [h_{g} (\boldsymbol{X}) h_{m} (\boldsymbol{X})]
$$
となり，$M^{\prime} (0) = 0$を得る．これがネイマン直交性である．
そしてこの導出を見ると，なぜネイマン直交性が重要なのかが明確になる．局外母数を
$$
\hat{g} = g_{0} + \Delta_{g}
$$
$$
\hat{m} = m_{0} + \Delta_{m}
$$
のように少し間違えたとすると，モーメント条件に残る主要な誤差は
$$
\mathbb{E} [\Delta_{g} (\boldsymbol{X}) \Delta_{m} (\boldsymbol{X})]
$$
という推定誤差の積になる．ナイーブな推定では$\Delta_g$そのものが一次で効いていたのに対して，直交化後は$\Delta_g\Delta_m$という二次の項になるのである．
「一次の誤差が消える」とはどういうことか
この点をテイラー展開としても見ることもできる．一般に$M (\theta_{0}, \hat{\eta})$を$\eta_{0}$のまわりで展開すると，
$$
M (\theta_{0}, \hat{\eta}) = M(\theta_{0}, \eta_{0}) + \partial_{\eta} M (\theta_{0}, \eta_{0}) [\hat{\eta} - \eta_{0}] + R^{2}
$$
となる．真の値なので，
$$
M(\theta_{0} , \eta_{0}) = 0
$$
である．さらにネイマン直交性より，
$$
\partial_{\eta} M (\theta_{0} , \eta_{0}) [\hat{\eta} - \eta_{0}] = 0
$$
となる．したがって，
$$
M(\theta_{0} , \hat{\eta}) = R^{2}
$$
だけが残る．$R_2$は局外母数の推定誤差について二次の項である．
これがDMLの“Debiased”の中核である．機械学習による推定誤差そのものをなくしているわけではなく，推定誤差が関心のあるパラメータに入ってくる次数を変えているのである．Chernozhukov et al．（2018）では，直交化後の正則化バイアスが，$g_0$と$m_0$の推定誤差の積になることを示している．
ナイーブなスコアが直交性を満たさないことも確認する
比較のために，
$$
\varphi (W; \theta, g) = \lbrace Y - D \theta - g(\boldsymbol{X}) \rbrace D
$$
について同じことをしてみる．
$$
g_{r} = g_{0} + r h_{g}
$$
とすると，
$$
\mathbb{E} \lbrack \varphi (W; \theta_{0} , g_{r}) \rbrack = \mathbb{E} [ \lbrace U - r h_{g} (\boldsymbol{X}) \rbrace D \rbrack
$$
である．したがって，
$$
\left. \dfrac{\partial}{\partial r} \mathbb{E} [ \varphi (W; \theta_{0} g_{r})] \right|_{r=0} = - \mathbb{E} [D h_{g} (\boldsymbol{X}) ]
$$
となる．$D=m_0(\boldsymbol{X})+V$なので，
$$
\quad - \mathbb{E} [D h_{g} (\boldsymbol{X})] = - \mathbb{E} [ m_{0} (\boldsymbol{X}) h_{g} (\boldsymbol{X}) ]
$$
であり，一般にはゼロではない．したがって，このスコアはネイマン直交性を満たさない．
単に「$Y$から$g(\boldsymbol{X})$を引いた」というだけでは不十分であり，$D$から$m(\boldsymbol{X})$を引くことに理論的な意味があることがわかる．前回の記事で説明したFWL定理との接続が，ここでも現れている．
Robinson型のPartialling-outスコア
前回の記事では，
$$
\ell_{0} (\boldsymbol{X}) = \mathbb{E} [Y | \boldsymbol{X}]
$$
を使って，$Y - \ell_{0} (\boldsymbol{X})$と$D - m_{0} (\boldsymbol{X})$を残差化する形でDMLを説明した.
この場合には，
$$
\psi (W; \theta , \eta) = [Y - \ell (\boldsymbol{X}) - \theta \lbrace D - m(\boldsymbol{X}) \rbrace] \lbrace D - m(\boldsymbol{X}) \rbrace
$$
というスコアを用いる．ここで，$\eta = (\ell , m)$であり，$\ell_{0} (\boldsymbol{X}) = \mathbb{E} [Y | \boldsymbol{X}]$である．
これはRobinson（1988）のPartialling-outに対応するスコアであり，こちらもネイマン直交性を満たす．Chernozhukov et al．（2018）は，先ほどの$(g,m)$を用いたスコアと，このRobinson型の$(\ell,m)$を用いたスコアは，一次では同値であるとしている．
したがって，前回の記事で実装した
$$
\hat{\tilde{Y}}_{i} = Y_{i} - \hat{\ell} (\boldsymbol{X}_{i})
$$
$$
\hat{\tilde{D}}_{i} = D_{i} - \hat{m} (\boldsymbol{X}_{i})
$$
を作り，$\hat{\tilde{Y}}_{i}$を$\hat{\tilde{D}}_{i}$に回帰するという方法は，このRobinson型スコアを解いていることになる．
局外母数にはどの程度の推定精度が必要なのか
ネイマン直交性について説明すると，「局外母数は多少間違えても良い」という説明がなされることがある．しかしながら，ここには少し注意が必要である．
ネイマン直交性は，局外母数をどれだけ雑に推定しても良いことを意味しない．先ほど見たように，部分線形回帰モデルでは局外母数の推定誤差による主要な残差項が概ね
$$
\lVert \hat{g} - g_{0} \rVert_{P,2} \lVert \hat{m} - m_{0} \rVert_{P,2}
$$
という積になる．$\theta_0$について$\sqrt{n}$一致性を得るには，この積が$o_{P} \left( n^{- \frac{1}{2}} \right)$となることが必要である．すなわち，
$$
\lVert \hat{g} - g_{0} \rVert_{P,2} \lVert \hat{m} - m_{0} \rVert_{P,2} = o_{P} \left( n^{- \frac{1}{2}} \right)
$$
である．Chernozhukov et al．（2018）の部分線形回帰モデルに対する仮定も，基本的にこの制約を課している．
例えば，両方が同程度の速度で収束するとして，
$$
\lVert \hat{g} - g_{0} \rVert_{P, 2} = o_{p} \left( n^{- \frac{1}{4}} \right)
$$
かつ
$$
\lVert \hat{m} - m_{0} \rVert_{P, 2} = o_{p} \left( n^{- \frac{1}{4}} \right)
$$
であれば，
$$
o_{p} \left( n^{- \frac{1}{4}} \right) \times o_{p} \left( n^{- \frac{1}{4}} \right) = o_{p} \left( n^{- \frac{1}{2}} \right)
$$
となる．このため，DMLについて「局外母数は$n^{-1/4}$レートで推定できればよい」と説明されることが多い．Chernozhukov et al．（2018）の一般論でも，滑らかな問題について粗い十分条件として
$$
\varepsilon_{n} = o_{p} \left( n^{- \frac{1}{4}} \right)
$$
が示されている．
ただし，厳密には2つの局外母数がそれぞれ$n^{-1/4}$でなければならないわけではない．重要なのは積である．例えば，
$$
\lVert \hat{m} - m_{0} \rVert_{P, 2} = O_{p} \left( n^{- \frac{1}{2}} \right)
$$
であり，
$$
\lVert \hat{g} - g_{0} \rVert_{P, 2} = o_{p} (1)
$$
ならば，
$$
\lVert \hat{g} - g_{0} \rVert_{P, 2} \lVert \hat{m} - m_{0} \rVert_{P, 2} = o_{p} \left( n^{- \frac{1}{2}} \right)
$$
となる．つまり，一方の局外母数を非常によく推定できるのであれば，もう一方にはかなり緩い条件しか必要ない．Chernozhukov et al．（2018）も，$m_0$が既知，あるいは$n^{-1/2}$レートで推定可能ならば，$g_0$については一致性だけで足りることを指摘している．この積の条件は，DMLを理解するうえでかなり重要だろう．
ではネイマン直交性だけで良いのか
ここまでで，局外母数の推定誤差について一次の項が消えることを確認した．それならば，ネイマン直交スコアさえ使えば問題はすべて解決しそうにも思える．しかしながら，実際には1つ問題がある．例えば，
$$
\dfrac{1}{\sqrt{n}} \sum_{i=1}^{n} V_{i} \lbrace \hat{g} (\boldsymbol{X}_{i}) - g_{0} (\boldsymbol{X}_{i}) \rbrace
$$
のような項を考える．もし$\hat{g}$が，この$i$番目の観測値を含む同じサンプルを使って学習されていると，$V_{i}$と$\hat{g} (\boldsymbol{X}_{i}) - g_{0} (\boldsymbol{X}_{i})$は一般には独立ではない．機械学習モデルが観測値$i$のノイズまで学習してしまえば，この両者には機械的な相関が生じる．つまり，ネイマン直交性によって正則化バイアスへの対処をしても，過学習バイアスが残り得る．Chernozhukov et al．（2018）は，ネイマン直交性と交差適合をDMLの2つの本質的な構成要素としている．
サンプル分割
最も単純な解決方法は，局外母数を推定するサンプルと，$\theta_0$を推定するサンプルを分けることである．サンプルを$I$と$I^{c}$の2つに分割する．
まず$I^c$だけを使って，$\hat{g}_{-I}$を推定する．そのうえで$I$について，
$$
\dfrac{1}{\sqrt{|I|}} \sum_{i \in I} V_{i} \lbrace \hat{g}_{-I} (\boldsymbol{X}_{i}) - g_{0} (\boldsymbol{X}_{i}) \rbrace
$$
を考える．$\hat{g}_{-I}$は$I$のデータを一切使わずに推定されている．したがって，学習用サンプル$I^c$を条件付ければ，$\hat{g}_{-I}$は固定された関数として扱える．すると，
$$
\mathbb{E} \left[ V_{i} \lbrace \hat{g}_{-I} (\boldsymbol{X}_{i}) - g_{0} (\boldsymbol{X}_{i}) \rbrace | I^{c} \right]
$$
について，$\mathbb{E} [V_{i} | \boldsymbol{X}_{i}] = 0$なので，
$$
\mathbb{E} [V_{i} \lbrace \hat{g}_{-I} (\boldsymbol{X}_{i}) - g_{0} (\boldsymbol{X}_{i}) \rbrace | I^{c} ] = 0
$$
となる．さらに，その条件付き分散は概ね
$$
\mathbb{E} \left[ V_{i}^{2} \lbrace \hat{g}_{-I} (\boldsymbol{X}_{i}) - g_{0} (\boldsymbol{X}_{i}) \rbrace^{2} | I^{c} \right]
$$
であるから，$\hat{g}$が$L_2$で一致していれば，この分散も$0$に近づく．Chernozhukov et al．（2018）は，まさにこの議論によって，サンプル分割を行えばこの種の剰余項を弱い条件のもとで消すことができることを説明している．
なぜ単純なサンプル分割ではなく交差適合なのか
しかし，単純に半分のデータを学習用，残り半分を$\theta_0$推定用にすると，$\theta_0$の推定に使えるデータが半分になってしまう．そこで，サンプルの役割を入れ替える．例えば2-foldなら，最初に
- 第2foldで局外母数を学習し，第1foldで$\theta_0$の推定に使う
- 第1foldで局外母数を学習し，第2foldで$\theta_0$の推定に使う
という2つの操作を行う．これを$K$個のfoldへ一般化したものが交差適合である．
観測番号の集合を，
$$
\lbrace 1, 2, \cdots , n \rbrace = I_{1} \cup I_{2} \cup \cdots \cup I_{K}
$$
と分割する．$k$番目のfold$I_k$については，
$$
I_{k}^{c} = \lbrace 1, \cdots , n \rbrace \backslash I_{k}
$$
を使って局外母数$\hat{\eta}_{-k}$を推定する．
そして$i\in I_k$について，
$$
\psi (W_{i}; \theta , \hat{\eta}_{-k})
$$
を計算する．最終的には，
$$
\dfrac{1}{n} \sum_{k=1}^{K} \sum_{i \in I_{k}} \psi \left( W_{i}; \hat{\theta} , \hat{\eta}_{-k} \right) = 0
$$
を満たす$\hat{\theta}$を求める．この操作によって，すべての観測値が関心のあるパラメータの推定に使われる一方，各観測値について用いる局外母数は，その観測値を使わずに推定されている．つまり局外母数の推定量が複雑な場合には，サンプル分割・交差適合を用いて，推定された局外母数をネイマン直交スコアに代入し，推定方程式を解くという手順としてDMLを整理することができる．
交差適合と交差検証は何が違うのか
ここは用語上混乱しやすいので補足しておく．機械学習でよく使う交差検証は，基本的には予測性能を評価したり，ハイパーパラメータを選択したりするための手続きである．一方，DMLにおける交差適合は，局外母数の推定誤差と関心のあるパラメータを推定するサンプルとの依存を弱めることを主な目的としている．
勿論，どちらも「学習に使っていないfoldで予測する」という構造を持つため，実装上は非常によく似ている．実際，交差適合によって得られる局外母数の予測誤差はOut-of-Fold予測誤差なので，局外モデルの診断にも利用できる．しかり理論的な目的が異なることには留意する必要がある．
Donsker条件と交差適合
ここでDonsker条件についても触れておきたい．古典的なセミパラメトリック推論では，同じサンプルで局外母数を推定し，その推定量を推定方程式へ代入すること自体は珍しくない．その場合には，
$$
\dfrac{1}{\sqrt{n}} \sum_{i=1}^{n} [\psi (W_{i}; \theta_{0}, \hat{\eta}) - \psi (W_{i}; \theta_{0}, \eta_{0}) ]
$$
のような経験過程を制御する必要がある．古典的には，局外母数が属する関数クラスの複雑さを制限するDonsker条件などを用いて，この項が漸近的に無視できることを示す．
しかし，ランダムフォレストやニューラルネットワーク，高次元Lassoなどの柔軟なモデルを使おうとすると，関数クラスの複雑さをこのように制御することが難しくなる．Chernozhukov et al．（2018）は，高次元設定ではDonsker条件が不適切となり得ることを指摘し，sample splittingによってより弱い条件で結果を得ることをDMLの重要な特徴としている．
したがって，「交差適合を使えばDonsker条件を仮定しなくてよい」という説明は概ね正しい．ただし，これは「交差適合をすれば何の仮定もいらない」という意味ではない．局外母数の一致性や積の収束レートの条件，モーメントの存在，識別条件などは依然として必要である．
DML1とDML2
Chernozhukov et al．（2018）では，交差適合した推定量としてDML1とDML2という2つの形式が定義されている．
DML1では，各foldごとに
$$
\dfrac{1}{|I_{k}|} \sum_{i \in I_{k}} \psi \left(W_{i}; \hat{\theta}_{k}, \hat{\eta}_{-k} \right) = 0
$$
を解いて$\hat{\theta}_k$を得て，
$$
\hat{\theta}_{DML1} = \dfrac{1}{K} \sum_{k=1}^{K} \hat{\theta}_{k}
$$
とする．
一方，DML2ではすべてのfoldのスコアをまとめて，
$$
\dfrac{1}{K} \sum_{k=1}^{K} \dfrac{1}{|I_{k}|} \sum_{i \in I_{k}} \psi \left( W_{i}; \hat{\theta}_{DML2}, \hat{\eta}_{-k} \right) = 0
$$
を直接解く．漸近的には両者は一次で同値である．しかしChernozhukov et al．（2018）は，有限標本では，foldごとに別々のヤコビアンを用いるDML1より，まとめてヤコビアンを計算するDML2の方が安定する場合が多いとして，DML2を基本的に推奨している．また，$K=4$や$5$程度が$K=2$より良好に振る舞った経験を報告している．
前回の記事で実装した方法は，Out-of-Fold予測値をすべて作ったあと，残差をまとめて回帰しているため，DML2型の実装と考えてよい．
DML推定量の漸近展開
ここまでの準備を使うと，DML推定量がなぜ通常の統計的推論を可能にするのかを整理できる．まず，
$$
\mathbb{E} [\psi (W; \theta_{0}, \eta_{0})] = 0
$$
とする．また，
$$
J_{0} = \left. \dfrac{\partial}{\partial \theta} \mathbb{E} [\psi (W; \theta , \eta_{0})] \right|_{\theta = \theta_{0}}
$$
とする．適切な正則性条件、ネイマン直交性，局外母数の収束条件，交差適合のもとでは，
$$
\sqrt{n} \left( \hat{\theta} - \theta_{0} \right) = - J_{0}^{-1} \dfrac{1}{\sqrt{n}} \sum_{i=1}^{n} \psi (W_{i} ; \theta_{0} , \eta_{0}) + o_{P} (1)
$$
という漸近線形表現を得る．
重要なのは右辺の主要項に$\hat{\eta}$が存在しないことである．つまり，一次では，まるで真の局外母数$\eta_0$を知っていたかのような形になる．DMLにおけるネイマン直交性と交差適合の役割を誤解を恐れずに言えば，「$\hat{\eta}$を推定したことによる追加誤差＝$o_{P} \left( n^{\frac{1}{2}} \right)$」に押し込むと言えるだろう．Chernozhukov et al．（2018）の一般定理でも，DML1とDML2について$\sqrt{n}$一致性と漸近線形性，漸近正規性が示されている．
部分線形回帰モデルでの影響関数
部分線形回帰モデルについて，この漸近線形表現を具体的に見てみる．スコアは
$$
\psi (W; \theta , \eta) = \lbrace Y - D \theta - g (\boldsymbol{X}) \rbrace \lbrace D - m (\boldsymbol{X}) \rbrace
$$
である．真の値では，
$$
\psi (W; \theta_{0} , \eta_{0}) = UV
$$
となる．また，
$$
J_{0} = \mathbb{E} [- D \lbrace D - m_{0} (\boldsymbol{X}) \rbrace]
$$
である．$D=m_0(\boldsymbol{X})+V$で，$\mathbb{E} [V | \boldsymbol{X}] = 0$なので，$\mathbb{E} [DV] = \mathbb{E} [V^{2}]$である．したがって，$J_{0} = - \mathbb{E} [V^{2}]$となる．よって，
$$
\sqrt{n} \left( \hat{\theta} - \theta_{0} \right) = \dfrac{1}{\mathbb{E} [V^{2}]} \dfrac{1}{\sqrt{n}} \sum_{i=1}^{n} U_{i} V_{i} + o_{P} (1)
$$
である．したがって影響関数は
$$
\phi (W) = \dfrac{UV}{\mathbb{E} [V^{2}]}
$$
となる．
この式はかなり直観的である．$V$は，$D$のうち$\boldsymbol{X}$では説明できなかった変動であり，$U$は，$D$と$\boldsymbol{X}$を考慮したあとに残る$Y$の誤差である．DML推定量のfirst-orderな揺らぎは，この$UV$の標本平均によって決まる．
漸近正規性
適切なモーメント条件のもとで中心極限定理を適用すると，
$$
\dfrac{1}{\sqrt{n}} \sum_{i=1}^{n} U_{i} V_{i} \xrightarrow{d} \mathcal{N} \left( 0, \mathbb{E} [U^{2} V^{2}] \right)
$$
である．したがって，
$$
\sqrt{n} \left( \hat{\theta} - \theta_{0} \right) \xrightarrow{d} \mathcal{N} (0, \sigma^{2})
$$
ただし，
$$
\sigma^{2} = \dfrac{\mathbb{E} [U^{2} V^{2}}{\lbrace \mathbb{E} [V^{2}] \rbrace^{2}}
$$
となる．Chernozhukov et al．（2018）の部分線形回帰モデルに対するTheorem 4.1も，DML1とDML2が一次で同値であり，
$$
\sigma^{-1} \sqrt{n} \left( \hat{\theta} - \theta_{0} \right) \xrightarrow{d} \mathcal{N} (0, 1)
$$
となることを示している．つまり，局外母数に複雑な機械学習を使っていても，適切な条件が満たされれば，最終的な$\theta_0$については通常の$\sqrt{n}$スケールの正規近似が可能になる．これがDMLの大きな利点である．
標準誤差
漸近分散$\sigma^{2}$は未知なのでサンプルから推定する．交差適合によって得られた予測値を用いて，
$$
\hat{V}_{i} = D_{i} - \hat{m}_{- k(i)} ( \boldsymbol{X}_{i} )
$$
また
$$
\hat{U}_{i} = Y_{i} - D_{i} \hat{\theta} - \hat{g}_{-k(i)} ( \boldsymbol{X}_{i} )
$$
とする．すると，
$$
\hat{\sigma}^{2} = \dfrac{\dfrac{1}{n} \sum_{i=1}^{n} \hat{U}_{i}^{2} \hat{V}_{i}^{2} }{\left( \dfrac{1}{n} \sum_{i=1}^{n} \hat{V}_{i}^{2} \right)^{2}}
$$
と推定できる．したがって，$\hat{\theta}$自体の標準誤差は，
$$
\hat{\text{se}} \left( \hat{\theta} \right) = \dfrac{\hat{\sigma}}{\sqrt{n}}
$$
となる．これは基本的には不均一分散に対して頑健なサンドイッチ分散と同じ構造を持っている．DMLの一般論でも，交差適合されたスコアとヤコビアンからサンドイッチ型の分散推定量を構築でき，その一致性が示されている．したがって，$100(1-\alpha)%$信頼区間は，
$\hat{\theta} \pm z_{1 - \frac{\alpha}{2}} \dfrac{\hat{\sigma}}{\sqrt{n}}$
として構築できる．
DMLと漸近効率性
ここでもう1つ区別しておきたいのが，ネイマン直交性と漸近効率性である．ネイマン直交スコアを使えば，局外母数の推定誤差に対して一次で頑健になる．しかし，ネイマン直交スコアであることだけから，直ちに漸近分散が最小になるわけではない．
一般には，使用しているスコアがセミパラメトリック効率スコア，あるいは対応する効率低奈影響関数である場合に，DML推定量はセミパラメトリック効率下限を達成する．Chernozhukov et al．（2018）も，使用しているスコアが効率的であれば，DMLがその効率下限に到達することを述べている．
部分線形回帰モデルでは，条件付き等分散性$\mathbb{E} [U^{2} | \boldsymbol{X}, D] = \mathbb{E} [U^{2}]$のもとで，$\sigma^{2} = \dfrac{\mathbb{E} [U^{2}]}{\mathbb{E} [V^{2}]}$となり，これは$\theta_0$のセミパラメトリック効率下限に一致する．
したがって，DMLだから効率的であるというよりも，適切な直交スコアを用いてDMLを構成し，そのスコアが効率スコアでもある場合には，漸近効率性まで達成できると理解した方が正確である．
DMLは結局何を「二重」にしているのか
Double/Debiased Machine Learningという名前から，「二重に頑健だからDoubleなのか」と混同されることがある．しかし，DMLとDoubly Robustは同じ意味ではない．
部分線形回帰モデルについて考えると，DMLでは$g_{0} (\boldsymbol{X})$と$m_{0} (\boldsymbol{X})$という2つの局外関数を推定し，$D$と$Y$の両側を直交化する．Chernozhukov et al．（2018）の導入部でも，$D$の条件付き平均を追加で予測することを“double prediction”あるいは“double machine learning”と説明している．
一方，Doubly Robustという性質は，例えばATEのAIPW推定量において，アウトカム回帰と傾向スコアのどちらか一方が正しく推定されていれば一致性を保つ，という別の性質である．両者は関連しているが，同じ概念ではないという点には注意が必要である．
DMLの理論をまとめる
ここまでの議論をまとめる．DMLでは，まず低次元のターゲットパラメータ$\theta_0$を，
$$
\mathbb{E} [\psi (W; \theta_{0}, \eta_{0})] = 0
$$
という推定方程式によって定義する．局外母数$\eta_0$は機械学習などによって推定するが，ナイーブなスコアを使うと，局外母数の正則化バイアスが関心のあるパラメータへ一次の大きさで伝播する．
そこで，
$$
\partial_{\eta} \mathbb{E} [\psi (W; \theta_{0}, \eta_{0})] = 0
$$
となるネイマン直交スコアを用いる．これによって，局外母数の推定誤差の一次項が消え，主要な残差項が，
$$
\lVert \hat{g} - g_{0} \rVert_{P, 2} \lVert \hat{m} - m_{0} \rVert_{P, 2}
$$
のような二次の項になる．
さらに，局外母数を学習するサンプルとスコアを評価するサンプルを分離するため，交差適合を行う．この2つによって，適切な条件のもとでは，
$$
\sqrt{n} \left( \hat{\theta} - \theta_{0} \right) = \dfrac{1}{\sqrt{n}} \sum_{i=1}^{n} \phi (W_{i}) + o_{P} (1)
$$
という漸近線形表現が得られる．したがって，
$$
\sqrt{n} \left( \hat{\theta} - \theta_{0} \right) \xrightarrow{d} \mathcal{N} (0, \sigma^{2})
$$
となり，通常の標準誤差や信頼区間を構築できる．かなり乱暴に一言でまとめれば，「ネイマン直交性＋交差適合$\Longrightarrow$MLによる局外母数推定を一次で無視できる」というのがDMLの理論的な中心である．
DMLは「機械学習を使った推定量」なのか
ここまで見ると，DMLという名前にMachine Learningが入っていることが，むしろ少し不思議にも見えてくる．ネイマン直交性は機械学習から生まれた概念ではない．サンプル分割も古い統計学のアイデアである．セミパラメトリックモデルにおいて，無限次元の局外母数を推定しながら低次元パラメータについて$\sqrt{n}$一致性や漸近効率性を得る研究にも長い歴史がある．DMLが行った重要なことは，これらの古典的な考え方を，高次元で複雑な局外母数を現代的な機械学習で推定する状況へ使いやすい形で整理したことにあると思う．事実，Chernozhukov et al．（2018）自身も，DMLを「高次元あるいは複雑な局外母数が存在するもとで，低次元のパラメータについて推論する」という古典的なセミパラメトリック問題の拡張として位置付けている．
したがって，DMLを理解するために必要なのは，必ずしも機械学習のアルゴリズムそのものを深く理解することではない．むしろ，
- 推定方程式
- 局外母数
- ネイマン直交化
- 影響関数
- 漸近線形性
- 中心極限定理
といった統計学や計量経済学の古典的な考え方の方が本質に近い．
おわりに
前回の記事では，DMLをFWL定理の延長として，$Y$と$D$から$\boldsymbol{X}$によって説明できる部分を柔軟に取り除く方法として説明した．今回の記事では，その背後にある理論をもう少し詳しく見た．
単純に局外母数を機械学習で推定して推定方程式へPlug-inすると，正則化バイアスが$\theta_0$に一次の大きさで入り込み，$\sqrt{n}$一致性すら失われる場合がある．これに対して，ネイマン直交スコアを用いると，局外母数の推定誤差に対するモーメント条件の一次微分が$0$になり，局外母数の推定誤差は積の形，すなわち二次の大きさでしか効かなくなる．
ただし，ネイマン直交性だけでは十分ではない．同じ観測値を局外母数の学習とターゲットパラメータの推定の両方に使えば，過学習によって推定誤差とスコアの間に依存が生じる．そこで交差適合によって，それぞれの観測値について，その観測値を使わずに学習された局外母数を利用する．
この2つを組み合わせることで，適切な収束条件のもとでは，DML推定量は真の局外母数を知っていた場合と一次で同じ漸近分布を持つ．部分線形回帰モデルでは，
$$
\sqrt{n} \left( \hat{\theta} - \theta_{0} \right) = \dfrac{1}{\mathbb{E} [V^{2}]} \dfrac{1}{\sqrt{n}} \sum_{i=1}^{n} U_{i} V_{i} + o_{P} (1)
$$
となり，通常の$\sqrt{n}$一致性と漸近正規性を得ることができる．
こうして見ると，DMLで重要なのは「機械学習で因果効果を推定する」という部分ではない．むしろ，モデルの一部をノンパラメトリック・高次元にしたときに，その推定誤差を一次の推論から追い出すための仕組みがDMLである．
次回は，この視点を時系列データへ持ち込む．トレンド，季節性，系列相関を持つデータにDMLを適用してよいのか，通常の時系列分析と何が同じで何が違うのか，さらにLocal Projectionの一部をDMLによって柔軟化すると何が変わるのかを，シミュレーションデータとPython実装を用いて整理する．
参考文献
-
Chernozhukov, V., D. Chetverikov, M. Demirer, E. Duflo, C. Hansen, W. Newey, and J. Robins. 2018. "Double/Debiased Machine Learning for Treatment and Structural Parameters," Econometrics Journal, 21(1): C1-C68. https://doi.org/10.1111/ectj.12097
-
Robinson, P. M. 1988. "Root-N-Consistent Semiparametric Regression," Econometrica, 56(4): 931-954. https://doi.org/10.2307/1912705