参考文献
本記事の概要
ある問題設定において任意の検定より優れた検定を、その問題における最強力検定といいます。本記事では、問題が単純二仮説の場合に尤度比検定が最強力であることを説明します。
※問題設定：帰無仮説と対立仮説の設定のこと
※以降、帰無仮説(Null Hypothesis)=N.H.、対立仮説(Alternative Hypothesis)=A.H.という表記も使用します。
仮説検定の導入
サンプル$X^n = \{X_1,\ldots,X_n\}$が所与とします。仮説検定とは統計量$S(X^n)$と閾値$a\in\mathbb{R}$のペア$(S,a)$によって定まる
\begin{align}
\qquad \qquad S(X^n) &\le a \Rightarrow {\rm Accept\ N.H.} \\\
\qquad \qquad S(X^n) &> a \Rightarrow {\rm Reject\ N.H.}
\end{align}
というアルゴリズムです。いくつかコメントします。
- サンプル$X^n$は帰無仮説によって定まる分布からi.i.d.に発生していると仮定します。
- 閾値$a$は個別の帰無仮説・対立仮説の置き方に応じて理論的に導出すべき量であり、$S(X^n)$の分布から決定されます。
- 統計量$S(X^n)$を、検定統計量といいます。
仮説検定$(S,a)$の評価量として次の2つが定義されます。
有意水準(Level)
\begin{align}
{\rm Level}(S,a) \equiv P(S(X^n)>a\mid {\rm N.H.})
\end{align}
検出力(Power)
\begin{align}
{\rm Power}(S,a) \equiv P(S(X^n)>a\mid {\rm A.H.})
\end{align}
ただし、$P(\cdot \mid {\rm N.H.})$はサンプル$X^n$が帰無仮説に従う条件付き確率を表します。
2つの仮説検定$S_1$と$S_2$について
\begin{align}
&[\ {\rm Level}(S_1,a_1)={\rm Level}(S_2,a_2) \\
\Rightarrow~&{\rm Power}(S_1,a_1)\ge {\rm Power}(S_2,a_2)\ ]\quad {\rm for}\quad\forall a_1,a_2 \in \mathbb{R}
\end{align}
が成り立つとき、$S_1$は$S_2$よりも強力であるといい、任意の仮説検定よりも強力な場合それを最強力検定といいます。
一般に帰無仮説・対立仮説は、パラメータ空間$\Theta$の分割$\Theta_0$と$\Theta_1$を用いて
{\rm N.H.} : \theta\in\Theta_0 \quad {\rm v.s.} \quad {\rm A.H.} : \theta\in\Theta_1
と表されます。${}^\forall\theta\in\Theta_1$に対して強力な検定を一様最強力検定といいます。しかし、対立仮説のパラメータ全てに対し一様に強力な都合の良い検定は一般に存在しません（もちろん存在するケースもあります）。普通は対立仮説中の真のパラメータに対して、各検定手法は得手不得手があります。そこで条件を絞り、帰無仮説・対立仮説共に単純仮説とすることで得られる性質が次節のネイマン・ピアソンの定理です。
※単純仮説に対する補足
仮説が確率分布で与えられるとき、それを単純仮説といいます。例えば
{\rm N.H.} : \theta\sim p_0(\theta) \quad {\rm v.s.} \quad {\rm A.H.} : \theta\sim p_1(\theta)
が単純二仮説です。一方で
{\rm N.H.} : \theta=\theta_0 \quad {\rm v.s.} \quad {\rm A.H.} : \theta>\theta_0
のようなケースは、対立仮説が確率分布を指定していないため単純仮説ではありません。
単純二仮説に対する最強力検定（ネイマン・ピアソンの定理）
「検定統計量として尤度比を用いると最強力検定が構築できる」というネイマン・ピアソンの定理をベイズ仮説検定の観点から導出します。
ベイズ仮説検定とは、確率モデル$p(x|w)$を定めるパラメータ$w\in\mathbb{R}^d$が従う確率分布への仮説検定です。確率分布としてデルタ分布を用いれば頻度論的仮説検定を表現できます。帰無仮説，対立仮説はそれぞれ
\begin{align}
{\rm N.H.} :\quad w\sim \varphi_0(w)\\
{\rm A.H.} :\quad w\sim \varphi_1(w)
\end{align}
と表されます。このとき次の定理が成り立ちます。
定理：
$\forall a,b\in \mathbb{R}$と任意の仮説検定$S$について、統計量
\begin{align}
L(X^n) \equiv \frac{\displaystyle \int \varphi_1(w)\prod_{i=1}^{n}p(X_i|w)dw}{\displaystyle \int \varphi_0(w)\prod_{i=1}^{n}p(X_i|w)dw}
\end{align}
は次を満たす：
\begin{align}
&{\rm Level}(L,b)={\rm Level}(S,a)\\
\Rightarrow~&{\rm Power}(L,b)\ge {\rm Power}(S,a).
\end{align}
証明：
定数$a,b$は
\begin{align}
P(L(X^n)>b\mid {\rm N.H.}) = P(S(X^n)>a\mid {\rm N.H.})
\end{align}
を満たすものとします。このとき不等式
\begin{align}
P^* \equiv P(L(X^n)>b\mid {\rm A.H.})-P(S(X^n)>a\mid {\rm A.H.})\ge 0
\end{align}
を示せばよいことになります。
それぞれの仮説検定の棄却域$A,B$を定義します：
\begin{align}
A &= \{x^n;~S(x^n)>a\},\\
B &= \{x^n;~L(x^n)>b\}.
\end{align}
・$A=B$の場合
\begin{align}
P^* &= \int_B\left\{\int \varphi_1(w)\prod_{i=1}^{n}p(x_i\mid w)dw\right\}dx^n - \int_A\left\{\int \varphi_1(w)\prod_{i=1}^{n}p(x_i\mid w)dw\right\}dx^n\\
&= 0.
\end{align}
・$A \neq B$の場合
\begin{align}
P^* &= \int_B\left\{\int \varphi_1(w)\prod_{i=1}^{n}p(x_i\mid w)dw\right\}dx^n - \int_A\left\{\int \varphi_1(w)\prod_{i=1}^{n}p(x_i\mid w)dw\right\}dx^n\\
&=\int \varphi_1(w)dw \left[\int_{B}-\int_{A}\right] \prod_{i=1}^{n}p(x_i\mid w)dx_i\\
&= \int \varphi_1(w)dw \left[\int_{B\setminus A}-\int_{A\setminus B}\right]\prod_{i=1}^{n}p(x_i\mid w)dx_i.
\end{align}
集合$B\setminus A$，$A\setminus B$でそれぞれ$L(x^n)>b$，$L(x^n)\le b$が成り立つので、
\begin{align}
P^* &> b\int \varphi_0(w)dw \left[\int_{B\setminus A}-\int_{A\setminus B}\right]\prod_{i=1}^{n}p(x_i|w)dx_i\\\
& = b\int \varphi_0(w)dw \left[\int_{B}-\int_{A}\right]\prod_{i=1}^{n}p(x_i|w)dx_i\\\
&= 0
\end{align}
以上から$P^*\ge 0$が示されました。
定理から帰無仮説と対立仮説がそれぞれ確率分布の形で与えられる（単純二仮説）ときは，検定統計量として周辺尤度比（および単調増加関数による変換量である対数周辺尤度比）が最強力検定を与えることがわかりました。定理の系として次が得られます。
ネイマン・ピアソンの定理：
\begin{align}
{\rm N.H.} :\quad w\sim \delta(w-w_0)\\
{\rm A.H.} :\quad w\sim \delta(w-w_1)
\end{align}
に対して最強力検定を与える検定統計量は
\begin{align}
L(X^n) = \frac{\displaystyle \prod_{i=1}^{n}p(X_i\mid w_1)}{\displaystyle \prod_{i=1}^{n}p(X_i\mid w_0)}
\end{align}
である．
ネイマン・ピアソンの定理から、帰無仮説・対立仮説ともに1点のパラメータで表現される場合、尤度比が最強力検定を与えることがわかります。
単純二仮説への検定例
ここでは有名な単純二仮説検定として、z検定を紹介します。
z検定
z検定は分散既知の正規分布$N(\mu, \sigma^2)$の平均に対する検定です。仮説
\begin{align}
{\rm N.H.} :\quad &\mu = \mu_0\\
{\rm A.H.} :\quad &\mu = \mu_1(>\mu_0)
\end{align}
に対して対数尤度比を計算します：
\begin{align}
\log \frac{\prod_{i=1}^{n}N(X_i\mid \mu_1, \sigma^2)}{\prod_{i=1}^{n}N(X_i\mid \mu_0, \sigma^2)} &= \sum_{i=1}^{n}\log \exp \left\{-\frac{1}{2\sigma^2}\left((X_i-\mu_1)^2 - (X_i-\mu_0)^2\right)\right\}\\
&= \sum_{i=1}^{n}\left\{-\frac{1}{2\sigma^2}(-2(\mu_1-\mu_0)X_i + \mu_1^2 - \mu_0^2)\right\}\\
&= \frac{\mu_1 - \mu_0}{\sigma^2}\underbrace{\sum_{i=1}^{n}X_i}_{\mbox{確率項}} - \sum_{i=1}^{n}\frac{\mu_1^2 - \mu_0^2}{2\sigma^2}.
\end{align}
検定を作成する場合、私たちは検定統計量の確率項のみに注目すれば十分です。定数倍や定数項はサンプルの棄却域に影響しないため、等価の検定になります。上式においてはサンプルの和を統計量とする検定を考えれば良いことがわかります。ここでサンプル平均$\bar{X}$を用いてz変換（定数倍のみの変換）を施すことで$Z \equiv \frac{\bar{X} - \mu_0}{\sigma / \sqrt{n}} \sim N(0, 1^2)
$という結果を得ました。以上から、検定統計量$Z$の従う分布がわかったので有意水準に応じた棄却域（定数$a$）を決定することができます。