現代数理統計学の基礎（久保川 達也先生）第7章 問2の解答例です。
問題と略解はこちら
問2
$X_1,X_2,X_3...X_n\sim N(\mu,\sigma^2)\quad i.i.d$
有意水準$\alpha$の尤度比検定を求めよ
$(1)\quad \sigma^2既知、H_0:\mu\leq\mu_0,\quad H_1:\mu>\mu_0$（分散既知の母平均の検定、複合仮説）
解答
（メモ）
問1は単純仮説（$\mu$が$\mu_0$と一致するか、否か）だったため制限なし下の推定量（最尤推定量）と対立仮説下の推定量が同等の意味であった。複合仮説では制限なし下の推定量と対立仮説下の推定量（範囲に指定がある）が一致しないことに注意。
対数尤度関数と$\mu$の最尤推定量は以下のとおり。
\begin{align}
L(\mu,\sigma^2)&=\prod_{i=1}^n\frac{1}{\sqrt{2\pi\sigma^2}}\exp\biggl(-\frac{(x_i-\mu)^2}{2\sigma^2} \biggl)\\
&=(2\pi\sigma^2)^{-\frac{n}{2}}\exp\biggl(-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2 \biggl)\\
\log L(\mu,\sigma^2)&=-\frac{n}{2}\log(2\pi\sigma^2)-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2\\
\frac{d}{d\mu}\log L(\mu,\sigma^2)&=\frac{1}{\sigma^2}\sum_{i=1}^n(x_i-\mu)\\
&=\frac{1}{\sigma^2}\biggl(\sum_{i=1}^nx_i-\sum_{i=1}^n\mu \biggl)\\
&=\frac{1}{\sigma^2}(n\bar X-n\mu)\\
&=\frac{n}{\sigma^2}(\bar X-\mu)\\
\hat\mu^{ML}&=\bar X
\end{align}
また$H_0$下での推定量を$\hat\mu_0$とおくと尤度比統計量は
\begin{align}
-2\log\frac{L(\hat\mu_0,\sigma^2)}{L(\hat\mu^{ML},\sigma^2)}&=2\biggl(\log L(\hat\mu^{ML},\sigma^2)-\log L(\hat\mu_0,\sigma^2) \biggl)\\
&=2\biggl(-\frac{1}{2\sigma^2}\biggl( \sum_{i=1}^n(x_i-\bar X)^2-\sum_{i=1}^n(x_i-\hat\mu_0)^2\biggl) \biggl)\\
&=-\frac{1}{\sigma^2}\sum_{i=1}^n(x_i^2-2x_i\bar X+\bar X^2-x_i^2+2x_i\hat\mu_0-\hat\mu_0^2)\\
&=-\frac{1}{\sigma^2}\sum_{i=1}^n(-2x_i\bar X+\bar X^2+2x_i\hat\mu_0-\hat\mu_0^2)\\
&=-\frac{1}{\sigma^2}\biggl(-2\bar X\sum_{i=1}^nx_i+\sum_{i=1}^n\bar X^2+2\hat\mu_0\sum_{i=1}^nx_i-\sum_{i=1}^n\hat\mu_0^2\biggl)\\
&=-\frac{1}{\sigma^2}(-2n\bar X^2+n\bar X^2+2\hat\mu_0n\bar X-n\hat\mu_0^2)\\
&=\frac{n}{\sigma^2}(\bar X^2-2\hat\mu_0\bar X+\hat\mu_0^2)\\
&=\frac{n}{\sigma^2}(\bar X-\hat\mu_0)^2\\
\end{align}
上記尤度比統計量の$\hat\mu_0$について、単純仮説であれば帰無仮説で既知の定数に指定されている。
しかし複合仮説では1点に指定がないため、$\mu$の最尤推定量である標本平均$\bar X$が$\mu\leq\mu_0$の範囲に入っているかで場合分けが必要になる。
尤度関数は$\bar X<\mu_0$のとき左のような状態となり、この範囲での最大化はもちろん$\bar X$である。一方$\bar X\geq\mu_0$のときは右の状態であり$\bar X$が制限により使えないため範囲内で最大の$\mu_0$を採用することとなる。
以上を踏まえると$\bar X<\mu_0$のとき$\hat{\mu}_0=\bar X$となり、尤度比統計量は$\frac{n}{\sigma^2}(\bar X-\bar X)=0$となる。つまり帰無仮説が制限になっていない（=帰無仮説下の推定量と、制限なし下の最尤推定量が一致している）ということなので、当然帰無仮説は棄却しない。
次に$\bar X\geq\mu_0$のときを考える。
繰り返しになるが、$\bar X\geq\mu_0$で尤度が最も大きくなるのは$\hat\mu_0=\mu_0$なので、尤度比検定量は
\begin{align}
2\log\frac{L(\bar X)}{L(\hat\mu_0)}&=\frac{n}{\sigma^2}(\bar X-\mu_0)^2\\
&\sim_d\chi^2_{1}
\end{align}
よって、$\frac{n}{\sigma^2}(\bar X-\mu_0)^2>\chi^2_{1,\alpha}$のときに$H_0$を棄却する。
しかしこの検定は$H_0:\mu=\mu_0,\quad H_1:\mu>\mu_0$に対する検定である。
この検定量が$H_0:\mu\leq\mu_0,\quad H_1:\mu>\mu_0$下でも$\alpha$以下になることを示したい。
$Z=\frac{\sqrt n}{\sigma}(\bar X-\mu_0)$とおくと$Z\sim_dN(0,1)$である。
$Z$を用いて「$H_0$が正しいにも関わらず$Z>C$となり$H_0$を棄却してしまう確率が$\alpha$以下」となる$C$を設定したい。
式で表すと
\begin{align}
\sup_{\mu\leq\mu_0}\mathbb{P}\biggl[\frac{\sqrt n}{\sigma}(\bar X-\mu_0)>C\biggl]=\alpha
\end{align}
$\mu\leq\mu_0$条件下つまり$\mu-\mu_0\leq0$なことに注意して、$\bar X\sim N(\mu,\sigma^2)$の形を無理やり作り出すと
\begin{align}
\frac{\sqrt n}{\sigma}(\bar X-\mu_0)&=\frac{\sqrt n}{\sigma}(\bar X-\mu+\mu-\mu_0)\\
&=\frac{\sqrt n}{\sigma}(\bar X-\mu)+\frac{\sqrt n}{\sigma}(\mu-\mu_0)
\end{align}
正規分布$N(\mu,\sigma^2)$の上側$\alpha$を満たす点を$z_\alpha$とすると、$\mathbb{P}\biggl[\frac{\sqrt n}{\sigma}(\bar X-\mu)>z_\alpha\biggl]=\alpha$である。
さらに$\mu-\mu_0\leq0$であったので、これを足すと元の$z_\alpha$よりは小さくなる。
\begin{align}
\frac{\sqrt n}{\sigma}(\bar X-\mu)&>z_\alpha\\
\frac{\sqrt n}{\sigma}(\bar X-\mu)+\frac{\sqrt n}{\sigma}(\mu-\mu_0)&>z_\alpha+\frac{\sqrt n}{\sigma}(\mu-\mu_0)\\
z_\alpha\geq z_\alpha-\frac{\sqrt n}{\sigma}(\mu-\mu_0)\\
\frac{\sqrt n}{\sigma}(\bar X-\mu)+\frac{\sqrt n}{\sigma}(\mu-\mu_0)&\geq z_\alpha\\
\frac{\sqrt n}{\sigma}(\bar X-\mu_0)&\geq z_\alpha\\
\end{align}
よって$Z=\frac{\sqrt n}{\sigma}(\bar X-\mu_0)$が$z_\alpha$より大きいということは確率密度関数で言うとより右側にある（上側確率は小さくなる）
よって、棄却域は
\begin{align}
\mathbb{P}\biggl[\frac{\sqrt n}{\sigma}(\bar X-\mu_0)\geq z_\alpha\biggl]\leq\alpha
\end{align}
$(2)\quad \mu既知、H_0:\sigma^2\leq\sigma^2_0,\quad H_1:\sigma^2>\sigma^2_0$（平均既知の母分散の検定、複合仮説）
解答
$\sigma^2$の尤度関数と最尤推定量は
\begin{align}
L(\mu,\sigma^2)&=(2\pi\sigma^2)^{-\frac{n}{2}}\exp\biggl(-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2 \biggl)\\
\hat{\sigma^2}^{ML}&=\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2\\
\end{align}
表記を簡単にするため$\sigma^2$の最尤推定量を$\hat{\sigma^2}$とおく。これが制限なし下で尤度関数を最大化する推定量である。
一方$H_0:\sigma^2\leq\sigma^2_0$下では、定数$\sigma^2_0$より大きいかどうかで$\sigma^2$の最尤推定量$\hat\sigma^2$が使えるかが変わる。
$\hat\sigma^2<\sigma_0^2$ならば、最尤推定量が使えるので$\hat\sigma^2_0=\hat\sigma^2$である。
$\hat\sigma^2\geq\sigma_0^2$ならば、MLが範囲外となり使えないので仕方なく$\hat\sigma^2_0=\sigma_0^2$になる。
尤度比統計量は
\begin{align}
\frac{L(\hat\sigma^2)}{L(\sigma^2_0)}&=\biggl(\frac{\hat\sigma^2}{\sigma^2_0}\biggl)^{-\frac{n}{2}}\cdot\exp\biggl(-\frac{1}{2\hat\sigma^2}\sum_{i=1}^n(x_i-\mu)^2+\frac{1}{2\sigma^2_0}\sum_{i=1}^n(x_i-\mu)^2 \biggl)\\
&=\biggl(\frac{\hat\sigma^2}{\sigma^2_0}\biggl)^{-\frac{n}{2}}\cdot\exp\biggl(-\frac{n}{2\hat\sigma^2}\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2+\frac{n}{2\sigma^2_0}\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2 \biggl)\\
&=\biggl(\frac{\hat\sigma^2}{\sigma^2_0}\biggl)^{-\frac{n}{2}}\cdot\exp\biggl(-\frac{n}{2\hat\sigma^2}\sigma^2_1+\frac{n}{2\sigma^2_0}\sigma^2_1 \biggl)\\
&=\biggl(\frac{\hat\sigma^2}{\sigma^2_0}\biggl)^{-\frac{n}{2}}\cdot\exp\biggl(-\frac{n}{2}+\frac{n}{2}\cdot\frac{\hat\sigma^2}{\sigma^2_0} \biggl)\\
2\log\frac{L(\hat\sigma^2)}{L(\sigma^2_0)}&=2\biggl(-\frac{n}{2}\log\frac{\hat\sigma^2}{\sigma^2_0}-\frac{n}{2}+\frac{n}{2}\cdot\frac{\hat\sigma^2}{\sigma^2_0}\biggl)\\
&=n\biggl(-\log\frac{\hat\sigma^2}{\sigma^2_0}-1+\frac{\hat\sigma^2}{\sigma^2_0}\biggl)\\
\end{align}
$\hat\sigma^2<\sigma_0^2$のとき$\hat\sigma^2_0=\hat\sigma^2$なので尤度比統計量は$\log0=1$となり$H_0$を棄却できない。
$\hat\sigma^2\geq\sigma_0^2$のとき$\hat\sigma^2_0=\sigma_0^2$なので$-n\log\frac{\hat\sigma^2}{\sigma^2_0}+n\biggl(\frac{\hat\sigma^2}{\sigma^2_0}-1\biggl)$が定数Cを超えたら帰無仮説を棄却することにする。
表記を簡単にするため、$t=\frac{\hat\sigma^2}{\sigma^2_0}$とおく。前提条件より、$t\geq1$である。
\begin{align}
-n\log t+n(t-1)&=-n\log t+nt-n
\end{align}
次数が最も大きいのは$nt$であり、式全体でみても$t$に対して明らかに単調増加である。
よって$nt>C$を使って棄却域を設定すればよい。
$n$や$\sigma^2_0$は定数なので、単にサンプル数nの標本分散$\hat\sigma^2$について考えればよくて、
\begin{align}
nt&=\frac{n}{\sigma^2_0}\hat\sigma^2\\
&\sim_d\chi^2_n
\end{align}
よって、$\frac{n}{\sigma^2_0}\hat\sigma^2>\chi^2_\alpha$のときに$H_0$を棄却する。
しかしこの検定は$H_0:\sigma^2=\sigma_0^2,\quad H_1:\sigma^2>\sigma_0^2$に対する検定である。
この検定量が$H_0:\sigma^2\leq\sigma_0^2,\quad H_1:\sigma^2>\sigma_0^2$下でも$\alpha$以下になることを示したい。
$Z=\frac{n}{\sigma^2_0}\hat\sigma^2$とおいて「$H_0$が正しいにも関わらず$Z>C$となり$H_0$を棄却してしまう確率が$\alpha$以下」となる$C$を設定したい。
式で表すと
\begin{align}
\sup_{\sigma^2\leq\sigma_0^2}\mathbb{P}\biggl[\frac{n}{\sigma_0^2}\hat\sigma^2>C\biggl]=\alpha
\end{align}
$X\sim N(\mu,\sigma)$からn個の標本を取りそこから得られた分散$\hat\sigma^2=\frac{1}{n}\sum^n_{i=1}(x_i-\mu)^2$について、$\frac{n\hat\sigma^2}{\sigma^2}\sim\chi^2_n$であるので（証明は省略します。すみません。）$\chi^2_n$の上側$\alpha$を満たす点を$\chi^2_{n,\alpha}$とすると、$\mathbb{P}\biggl[\frac{n}{\sigma^2}\hat\sigma^2>\chi^2_{n,\alpha}\biggl]=\alpha$である。
この$\frac{n}{\sigma^2}\hat\sigma^2$と$\frac{n}{\sigma_0^2}\hat\sigma^2$を比較することで$\alpha$以下となるような$C$を考える。
$\frac{n}{\sigma_0^2}\hat\sigma^2$を以下のように変形することで比較対象を作り出す。
\begin{align}
\frac{n}{\sigma_0^2}\hat\sigma^2=\frac{n}{\sigma^2}\cdot\frac{\sigma^2}{\sigma_0^2}\hat\sigma^2
\end{align}
$\sigma^2、\sigma_0^2$共に正の数であることに注意して、$\sigma^2\leq\sigma_0^2$より$\frac{\sigma^2}{\sigma_0^2}\leq1$なのでこれを掛けると小さくなる。
\begin{align}
\frac{n}{\sigma^2}\hat\sigma^2>\chi^2_{n,\alpha}\\
\frac{n}{\sigma^2}\hat\sigma^2\cdot\frac{\sigma^2}{\sigma_0^2}\hat\sigma^2\geq\chi^2_{n,\alpha}\\
\frac{n}{\sigma_0^2}\hat\sigma^2\geq\chi^2_{n,\alpha}\\
\end{align}
よって$\frac{n}{\sigma_0^2}\hat\sigma^2$が$\chi^2_{n,\alpha}$より大きいということは確率密度関数で言うと上側面積が$\alpha$の点より右側にある（=上側面積は小さくなる）
よって、棄却域は
\begin{align}
\mathbb{P}\biggl[\frac{n}{\sigma_0^2}\hat\sigma^2\geq\chi^2_{n,\alpha}\biggl]\leq\alpha
\end{align}