LoginSignup
2

More than 3 years have passed since last update.

PRMLのメモ

Last updated at Posted at 2017-05-28

式 1.57、1.58

本にはStraight forwardに導出できるよと書いてあるけど、自分には全くStraight forwardじゃなかったので、その導出メモ

おさらい

まずは、平均(1.55)と分散(1.56)の式

$$
\begin{align}
\mu_{ML} &= \frac{1}{N}\sum_{n=1}^{N}x_n \tag{1.55}
\\
\sigma^2_{ML} &= \frac{1}{N}\sum_{n=1}^{N}\bigl(x_n - \mu_{ML}\bigr)^2 \tag{1.56}
\end{align}
$$

ここから、次が導出できる

$$
\begin{align}
E[\mu_{ML}] &= \mu \tag{1.57} \\
E[\sigma^2_{ML}] &= \frac{N - 1}{N}\sigma^2 \tag{1.58}
\end{align}
$$

ここで、$\mu$と$\sigma$はそれぞれ、$x_n$のもととなる確率分布の平均と標準偏差で、式は、$\mu_{ML}$の期待値は、真の平均$\mu$と一致するが、$\sigma^2_{ML}$の期待値は、真の分散$\sigma^2$に一致せず、ずれが生じることを表している

導出

まずはじめに、期待値が次の性質(線形性)を満たすことを思い出しておく

$$
\begin{align}
&E[ax_n] = aE[x_n] \\
&E[\sum_{n=1}^{N}x_n] = \sum_{n=1}^{N}E[x_n]
\end{align}
$$

1.57の導出

$$
\begin{align}
E[\mu_{ML}] &= E[\frac{1}{N}\sum_{n=1}^{N}x_n] \\
&= \frac{1}{N}E[\sum_{n=1}^{N}x_n] \tag{A} \\
&= \frac{1}{N}\sum_{n=1}^{N}E[x_n] \tag{B} \\
&= \frac{1}{N}\sum_{n=1}^{N}\mu \\
&= \frac{1}{N}N\mu \\
&= \mu
\end{align}
$$

途中、AとBは期待値の線形性をそれぞれ利用した

1.58の導出

$$
\begin{align}
E[\sigma^2_{ML}] &= E[\frac{1}{N}\sum_{n=1}^{N}\bigl(x_n - \mu_{ML}\bigr)^2] \\
&= \frac{1}{N}E[\sum_{n=1}^{N}\bigl(x_n - \mu_{ML}\bigr)^2] \tag{C} \\
&= \frac{1}{N}E[\sum_{n=1}^{N}\bigl(x_n^2 - 2x_n\mu_{ML} + \mu_{ML}^2\bigr)] \\
&= \frac{1}{N}\sum_{n=1}^{N}\bigl(E[x_n^2] - E[2x_n\mu_{ML}] + E[\mu_{ML}^2]\bigr) \tag{D}
\end{align}
$$

途中、C、Dは期待値の線形性を利用した。
上記より、次の3つを計算すれば良いことがわかる

$$
\begin{align}
&E[x_n^2] \tag{E} \\
&E[2x_n\mu_{ML}] \tag{F} \\
&E[\mu_{ML}^2] \tag{G}
\end{align}
$$

Eの導出

これは、期待値と分散の定義そのままなので、

$$
\begin{align}
E[x_n^2] &= \mu^2 + \sigma^2
\end{align}
$$

Fの導出

$$
\begin{align}
E[2x_n\mu_{ML}] &= E[2x_n\frac{1}{N}\sum_{n=1}^{N}x_n] \\
&= 2\frac{1}{N}E[x_n\sum_{n=1}^{N}x_n] \\
&= 2\frac{1}{N}E[\sum_{m=1}^{N}x_nx_m] \\
&= 2\frac{1}{N}\sum_{m=1}^{N}E[x_nx_m]
\end{align}
$$

ここで、$n = m$のとき、

$$
\begin{align}
E[x_nx_n] = E[x_n^2] = \mu^2 + \sigma^2
\end{align}
$$

また、$n \neq m$のとき、$x_n$と$x_m$は互いに独立なので、

$$
\begin{align}
E[x_nx_m] = E[x_n]E[x_m] = \mu^2
\end{align}
$$

したがって、

$$
\begin{align}
E[2x_n\mu_{ML}] &= 2\frac{1}{N}\sum_{m=1}^{N}E[x_nx_m] \\
&= 2\frac{1}{N}(\mu^2 + \sigma^2 + (N-1)\mu^2) \\
&= 2\mu^2 + \frac{2\sigma^2}{N}
\end{align}
$$

Gの導出

$$
\begin{align}
E[\mu_{ML}^2] &= E[(\frac{1}{N}\sum_{n=1}^{N}x_n)^2] \\
&= \frac{1}{N^2}E[(\sum_{n=1}^{N}x_n)^2] \\
&= \frac{1}{N^2}E[(\sum_{n=1}^{N}x_n)\times(\sum_{n=1}^{N}x_n)]
\end{align}
$$

ここで、

$$
\begin{align}
(\sum_{n=1}^{N}x_n)(\sum_{n=1}^{N}x_n) &= (x_1 + \cdots + x_N)\times(x_1 + \cdots + x_N) \\
&= x_1(x_1 + \cdots + x_N) + \cdots + x_N(x_1 + \cdots + x_N) \\
&= x_1(\sum_{n=1}^{N}x_n) + \cdots + x_N(\sum_{n=1}^{N}x_n) \\
&= \sum_{m=1}^{N}\sum_{n=1}^{N}x_mx_n
\end{align}
$$

したがって、

$$
\begin{align}
E[\mu_{ML}^2] &= \frac{1}{N^2}E[(\sum_{n=1}^{N}x_n)\times(\sum_{n=1}^{N}x_n)] \\
&= \frac{1}{N^2}E[\sum_{m=1}^{N}\sum_{n=1}^{N}x_mx_n] \\
&= \frac{1}{N^2}\sum_{m=1}^{N}\sum_{n=1}^{N}E[x_mx_n] \\
&= \frac{1}{N^2}\sum_{m=1}^{N}(N\mu^2 + \sigma^2) \tag{Fより} \\
&= \frac{1}{N^2}(N^2\mu^2 + N\sigma^2) \\
&= \mu^2 + \frac{\sigma^2}{N}
\end{align}
$$

最終結果

E,F,Gの計算結果から

$$
\begin{align}
E[\sigma^2_{ML}] &= \frac{1}{N}\sum_{n=1}^{N}\bigl(E[x_n^2] - E[2x_n\mu_{ML}] + E[\mu_{ML}^2]\bigr) \\
&= \frac{1}{N}\sum_{n=1}^{N}\bigl(\mu^2 + \sigma^2 - (2\mu^2 + \frac{2\sigma^2}{N}) + \mu^2 + \frac{\sigma^2}{N}\bigr) \\
&= \frac{1}{N}\sum_{n=1}^{N}\bigl(\frac{N - 1}{N}\sigma^2\bigr) \\
&= \frac{N-1}{N}\sigma^2
\end{align}
$$

お疲れ様でした。

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2