式 1.57、1.58
本にはStraight forwardに導出できるよと書いてあるけど、自分には全くStraight forwardじゃなかったので、その導出メモ
おさらい
まずは、平均(1.55)と分散(1.56)の式
$$
\begin{align}
\mu_{ML} &= \frac{1}{N}\sum_{n=1}^{N}x_n \tag{1.55}
\\
\sigma^2_{ML} &= \frac{1}{N}\sum_{n=1}^{N}\bigl(x_n - \mu_{ML}\bigr)^2 \tag{1.56}
\end{align}
$$
ここから、次が導出できる
$$
\begin{align}
E[\mu_{ML}] &= \mu \tag{1.57} \\
E[\sigma^2_{ML}] &= \frac{N - 1}{N}\sigma^2 \tag{1.58}
\end{align}
$$
ここで、$\mu$と$\sigma$はそれぞれ、$x_n$のもととなる確率分布の平均と標準偏差で、式は、$\mu_{ML}$の期待値は、真の平均$\mu$と一致するが、$\sigma^2_{ML}$の期待値は、真の分散$\sigma^2$に一致せず、ずれが生じることを表している
導出
まずはじめに、期待値が次の性質(線形性)を満たすことを思い出しておく
$$
\begin{align}
&E[ax_n] = aE[x_n] \\
&E[\sum_{n=1}^{N}x_n] = \sum_{n=1}^{N}E[x_n]
\end{align}
$$
1.57の導出
$$
\begin{align}
E[\mu_{ML}] &= E[\frac{1}{N}\sum_{n=1}^{N}x_n] \\
&= \frac{1}{N}E[\sum_{n=1}^{N}x_n] \tag{A} \\
&= \frac{1}{N}\sum_{n=1}^{N}E[x_n] \tag{B} \\
&= \frac{1}{N}\sum_{n=1}^{N}\mu \\
&= \frac{1}{N}N\mu \\
&= \mu
\end{align}
$$
途中、AとBは期待値の線形性をそれぞれ利用した
1.58の導出
$$
\begin{align}
E[\sigma^2_{ML}] &= E[\frac{1}{N}\sum_{n=1}^{N}\bigl(x_n - \mu_{ML}\bigr)^2] \\
&= \frac{1}{N}E[\sum_{n=1}^{N}\bigl(x_n - \mu_{ML}\bigr)^2] \tag{C} \\
&= \frac{1}{N}E[\sum_{n=1}^{N}\bigl(x_n^2 - 2x_n\mu_{ML} + \mu_{ML}^2\bigr)] \\
&= \frac{1}{N}\sum_{n=1}^{N}\bigl(E[x_n^2] - E[2x_n\mu_{ML}] + E[\mu_{ML}^2]\bigr) \tag{D}
\end{align}
$$
途中、C、Dは期待値の線形性を利用した。
上記より、次の3つを計算すれば良いことがわかる
$$
\begin{align}
&E[x_n^2] \tag{E} \\
&E[2x_n\mu_{ML}] \tag{F} \\
&E[\mu_{ML}^2] \tag{G}
\end{align}
$$
Eの導出
これは、期待値と分散の定義そのままなので、
$$
\begin{align}
E[x_n^2] &= \mu^2 + \sigma^2
\end{align}
$$
Fの導出
$$
\begin{align}
E[2x_n\mu_{ML}] &= E[2x_n\frac{1}{N}\sum_{n=1}^{N}x_n] \\
&= 2\frac{1}{N}E[x_n\sum_{n=1}^{N}x_n] \\
&= 2\frac{1}{N}E[\sum_{m=1}^{N}x_nx_m] \\
&= 2\frac{1}{N}\sum_{m=1}^{N}E[x_nx_m]
\end{align}
$$
ここで、$n = m$のとき、
$$
\begin{align}
E[x_nx_n] = E[x_n^2] = \mu^2 + \sigma^2
\end{align}
$$
また、$n \neq m$のとき、$x_n$と$x_m$は互いに独立なので、
$$
\begin{align}
E[x_nx_m] = E[x_n]E[x_m] = \mu^2
\end{align}
$$
したがって、
$$
\begin{align}
E[2x_n\mu_{ML}] &= 2\frac{1}{N}\sum_{m=1}^{N}E[x_nx_m] \\
&= 2\frac{1}{N}(\mu^2 + \sigma^2 + (N-1)\mu^2) \\
&= 2\mu^2 + \frac{2\sigma^2}{N}
\end{align}
$$
Gの導出
$$
\begin{align}
E[\mu_{ML}^2] &= E[(\frac{1}{N}\sum_{n=1}^{N}x_n)^2] \\
&= \frac{1}{N^2}E[(\sum_{n=1}^{N}x_n)^2] \\
&= \frac{1}{N^2}E[(\sum_{n=1}^{N}x_n)\times(\sum_{n=1}^{N}x_n)]
\end{align}
$$
ここで、
$$
\begin{align}
(\sum_{n=1}^{N}x_n)(\sum_{n=1}^{N}x_n) &= (x_1 + \cdots + x_N)\times(x_1 + \cdots + x_N) \\
&= x_1(x_1 + \cdots + x_N) + \cdots + x_N(x_1 + \cdots + x_N) \\
&= x_1(\sum_{n=1}^{N}x_n) + \cdots + x_N(\sum_{n=1}^{N}x_n) \\
&= \sum_{m=1}^{N}\sum_{n=1}^{N}x_mx_n
\end{align}
$$
したがって、
$$
\begin{align}
E[\mu_{ML}^2] &= \frac{1}{N^2}E[(\sum_{n=1}^{N}x_n)\times(\sum_{n=1}^{N}x_n)] \\
&= \frac{1}{N^2}E[\sum_{m=1}^{N}\sum_{n=1}^{N}x_mx_n] \\
&= \frac{1}{N^2}\sum_{m=1}^{N}\sum_{n=1}^{N}E[x_mx_n] \\
&= \frac{1}{N^2}\sum_{m=1}^{N}(N\mu^2 + \sigma^2) \tag{Fより} \\
&= \frac{1}{N^2}(N^2\mu^2 + N\sigma^2) \\
&= \mu^2 + \frac{\sigma^2}{N}
\end{align}
$$
最終結果
E,F,Gの計算結果から
$$
\begin{align}
E[\sigma^2_{ML}] &= \frac{1}{N}\sum_{n=1}^{N}\bigl(E[x_n^2] - E[2x_n\mu_{ML}] + E[\mu_{ML}^2]\bigr) \\
&= \frac{1}{N}\sum_{n=1}^{N}\bigl(\mu^2 + \sigma^2 - (2\mu^2 + \frac{2\sigma^2}{N}) + \mu^2 + \frac{\sigma^2}{N}\bigr) \\
&= \frac{1}{N}\sum_{n=1}^{N}\bigl(\frac{N - 1}{N}\sigma^2\bigr) \\
&= \frac{N-1}{N}\sigma^2
\end{align}
$$
お疲れ様でした。