1. 概要

確率変数 $X,Y,Z,...$ があり、 $\mathbb{Cov}[f(X,Y,Z,...),X]$ を求めたい場合を考える。
$f$が高度に非線形で、テイラー近似が有効でない場合であっても、

$X$の分散と歪度
最小二乗法による、$f$の二次式での回帰係数

が分かれば、 $\mathbb{Cov}[f(X,Y,Z,...),X]$ を正確に求めることが出来る。

~~最小二乗法を計算する暇があるならその時間で共分散くらい実測すればいいじゃん、とつっこまれると、それまでではある。~~

2. 回帰モデルで考えてみる

$$f = \beta_0 + \beta_1\cdot(X-\mathbb{E}[X]) + \beta_2\cdot(X-\mathbb{E}[X])^2+\varepsilon$$
と置く。
最小二乗法で $\beta_0,\beta_1,\beta_2$を求めると、
$\mathbb{Cov}[\varepsilon,X]$は $0$になる。

よって、
$$
\begin{array}{ll}
\mathbb{Cov}[f,X]\\
=\mathbb{Cov}[\beta_0,X]
+\mathbb{Cov}[\beta_1\cdot(X-\mathbb{E}[X]),X]
+\mathbb{Cov}[\beta_2\cdot(X-\mathbb{E}[X])^2,X]
+\mathbb{Cov}[\varepsilon,X]\\
=0
+\beta_1\mathbb{Cov}[X-\mathbb{E}[X],X]
+\beta_2\mathbb{Cov}[(X-\mathbb{E}[X])^2,X]
+0\\
= \beta_1\cdot\mathbb{E}[(X-\mathbb{E}[X])^2]
+\beta_2\cdot\mathbb{E}[(X-\mathbb{E}[X])^3]\\
= \beta_1\cdot\mathbb{Var}[X]
+\beta_2\cdot\frac{\displaystyle\mathbb{Skew}[X]}{\displaystyle\mathbb{Var}[X]^{\frac{3}{2}}}
\end{array}
$$
となる。

3. 役に立つ例

例えば、$f$が$X$に対して、「だいたい単調増加」で、「だいたい凹」
と分かっていて、$X$の歪度が負、またはほぼ左右対称であることもわかっている場合、

実際に最小二乗回帰しなくても、 $\beta_1>0$, $\beta_2<0$ である(可能性が高い)ことは分かる。

よって、

$$\beta_1\cdot\mathbb{Var}[X]
+\beta_2\cdot\frac{\displaystyle\mathbb{Skew}[X]}{\displaystyle\mathbb{Var}[X]^{\frac{3}{2}}}$$

は正なので、$f$の$Y,Z,...$依存性が分からず、$X$に対する高度に非線形な形が十分追えなくても、

$\mathbb{Cov}[f,X]$は(たぶん)正である、ということくらいは分かる。