はじめに
備忘録として最尤推定法をまとめる。
推定とは
母集団のある情報を標本から求めること。日本人男性の平均身長を求めたい時に、ランダムに30人選んでその平均身長を求めるなど、ある集合の一部分を見て元の集合の情報を予想すること。このとき、母集団と標本は次のようになる。
母集団：日本人の男性全員
標本：ランダムに選ばれた日本人男性30人
推定には複数のアプローチがあり、今回紹介する最尤推定法（最尤法）もその一つである。
また、母集団の平均や分散をそれぞれ母平均、母分散とよび、標本の平均や分散をそれぞれ標本平均、標本分散と呼ぶ。
最尤推定法の気持ち
母集団のあるデータ$x$（母平均や母分散）はそのデータの得られる確率$L(x)$が最大値になる時の$x$であるはずだという考えが最尤推定法の気持ちである。つまり、確率が高い=尤$^{もっと}$もらしいという考えである。この時、$L(x)$を尤度関数といい、$L(x)$の値を尤度と呼ぶ。
実際に最尤推定してみる
実際に正規分布に独立して従うデータの平均値$\mu$と分散$v$を最尤推定法を用いて推定してみる。
$\mu,v$が得られる確率を$L(\mu,v)$、正規分布の確率密度関数を$f(x)$とすると$L(\mu,v)$は$f(x)$を用いて次のようになる。
L(\mu,v) = \prod_{i=1}^n f(x_i)
方針は$L(\mu,v)$を最大にする$\mu$と$v$を求めることだが、これは$L(\mu,v)$の対数をとった$\log L(\mu,v)$が最大になる$\mu$と$v$を求めることと同じである。対数を取ることで総積記号$\Pi$を総和記号$\sum$に置き換えることができ、後の微分が簡単になる。$l(\mu,v)=\log L(\mu,v)$とし、$l(\mu,v)$を対数尤度関数と呼ぶ。
\mathrm{argmax}\,L(\mu,v) = \prod_{i=1}^n f(x_i)
\begin{align}
&=\mathrm{argmax}\, l(\mu,v) \\
&= \mathrm{argmax}\, \sum_{i=1}^{n} \mathrm{log}\,f(x_i)\\
\end{align}
正規分布の密度関数$f(x)$に次式を代入し、整理すると最大化する$l(\mu,v)$は以下のようになる。
f(x) = \frac{1}{\sqrt{2\pi v}} \exp \Bigr\{-\frac{(x_i - \mu)^2}{2v}\Bigr\}
l(\mu, v) = -\frac{n}{2}\,\mathrm{log}(2\pi v)-\frac{1}{2v}\sum_{i=1}^{n}(x_i-\mu)^2
ここで、$\mu$に依存するのは2項目のみである。
\begin{align}
\sum_{i=1}^{n} (x_i-\mu)^2&=\sum_{i=1}^{n}\,(x_i-\bar{x}+\bar{x}+\mu)^2\\
&= \sum_{i=1}^{n}\,(x_i-\bar{x})^2 - 2(\,\sum_{i=1}^{n}x_i-n\bar{x}\,)+n(\bar{x}-\mu)^2
\end{align}
よって、$v$を固定して考えた時に対数尤度関数$l(\mu,v)$を最大化する$\mu$は$\mu = \bar{x}$である。$l(\mu,v)$に$\mu = \bar{x}$を代入して、$v$で微分してその増減を調べると、$v = \frac{1}{n} \sum_{i=1}^{n}(x_i-\bar{x})^2$で最大値を得られることがわかる。
以上より、正規分布に独立して従うとき、母集団の平均・分散は標本平均・標本分散と一致する。
ちなみに、この結果はよく利用するので覚えておいた方が良い。