例題（最尤法）
【問題】あるコインを独立に $n$ 回投げたところ，表が出た回数を $X$ とする。
各試行において表が出る確率を $p$ とすると，
X_1, X_2, \dots, X_n \sim Ber(p)
に従い，$X_i=1$ は表，$X_i=0$ は裏を表すとする。
このとき，次の問いに答えなさい。
（1）尤度関数 $L(p)$ を求めなさい。
（2）対数尤度関数 $\ell(p)$ を求めなさい。
（3）最尤推定量 $\hat{p}$ を求めなさい。
（4）$\hat{p}$ がどのような意味を持つか説明しなさい。
解法
（1）尤度関数
各試行は独立なので，確率質量関数は
P(X_i=x_i)=p^{x_i}(1-p)^{1-x_i}
したがって，尤度関数は
L(p)
=
\prod_{i=1}^{n} p^{x_i}(1-p)^{1-x_i}
=
p^{\sum x_i}(1-p)^{n-\sum x_i}
（2）対数尤度関数
対数を取ると，
\ell(p)
=
\log L(p)
=
\sum x_i \log p
+
(n-\sum x_i)\log(1-p)
（3）最尤推定量
対数尤度を $p$ で微分すると，
\frac{d\ell}{dp}
=
\frac{\sum x_i}{p}
-
\frac{n-\sum x_i}{1-p}
これを 0 とおくと，
\frac{\sum x_i}{p}
=
\frac{n-\sum x_i}{1-p}
両辺を整理すると，
\left(\sum x_i\right)(1-p)
=
(n-\sum x_i)p
\sum x_i - p\sum x_i
=
np - p\sum x_i
\sum x_i = np
したがって，
\hat{p}
=
\frac{1}{n}\sum_{i=1}^{n} x_i
（4）意味
・観測された「表の割合」
・成功回数 / 試行回数
👉 最尤法では「経験的な頻度」がそのまま推定値になる
解法の型（最尤法）
パターン1：尤度を書く
・独立なら積を取る
・pmf / pdf をそのまま掛ける
パターン2：対数を取る
・積 → 和に変換
・微分しやすくする
パターン3：微分して0
・θで微分
・0にして解く
パターン4：解釈
・標本平均になるケースが多い
・直感（頻度）と一致することが多い