初めに
こんにちは。普段は脆弱性診断業務に携わっているセキュリティエンジニアです。
本業はセキュリティですが、大学院時代に統計検定1級を取得しており、統計にも関心があります。数物系の方なら比較的容易に取得できる資格という印象を持っていましたが、最近ではセキスペ以上に評価していただく機会が増えている気がしています。
そんなわけで調子に乗って、統計検定1級の問題と略解を自分なりにまとめてみようと決心しました。
問題と略解は以下をご参照ください。
問1
[1]
$\varepsilon_i = y_i-\beta x_i$ は正規分布に従うことから
\begin{align}
L(\beta)&=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left[-\frac{(y_1-\beta x_1)^2}{2\sigma^2}\right]\times\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left[-\frac{(y_2-\beta x_2)^2}{2\sigma^2}\right]\times ...\times \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left[-\frac{(y_n-\beta x_n)^2}{2\sigma^2}\right]\\
&= (2\pi\sigma^2)^{-n/2}\exp\left[-\sum_{i=1}^n\frac{(y_i-\beta x_i)^2}{2\sigma^2}\right]
\end{align}
従って、対数尤度関数 $l(\beta) = \log L(\beta)$ は以下となる。
l(\beta)=-\frac{n}{2}\log (2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^n(y_i-\beta x_i)^2
[2]
$\beta$ の最尤推定量 $\hat{\beta}_{ML}$ は、対数尤度関数の偏微分を0にする値である。
[1]より
\begin{align}
\frac{\partial l(\beta)}{\partial \beta} = - \frac{1}{\sigma^2}\sum_{i=1}^n(\beta x_{i}^2-Y_ix_i)
\end{align}
従って、$\hat{\beta}_{ML}$ は以下の通り。
\hat{\beta}_{ML} = \frac{\sum_{i=1}^nY_ix_i}{\sum_{i=1}^nx_i^2}
次に期待値を計算する。
\begin{align}
E\left[\hat{\beta}_{ML}\right] &= E\left[\frac{\sum_{i=1}^nY_ix_i}{\sum_{i=1}^nx_i^2}\right]\\
&= \frac{1}{\sum_{i=1}^nx_i^2}E\left[\sum_{i=1}^n\left(\beta x_i^2+\varepsilon_ix_i\right)\right]\\
&= \beta
\end{align}
従って、不偏推定量となることが示された。
このとき$\varepsilon_i$ が期待値 0 の正規分布に従うことから二行目の第二項の期待値が 0 になることを利用した。
[3]
フィッシャー情報量 $I_{n}(\beta)$ は以下となる。
\begin{align}
I_{n}(\beta) &= E\left[\left(\frac{\partial l(\beta)}{\partial \beta}\right)^2\right]\\
&= \frac{1}{\sigma^4}E\left[\left(\sum_{i=1}^n(\beta x_{i}^2-Y_ix_i)\right)^2\right]\\
&=\frac{1}{\sigma^4}E\left[\left(\sum_{i=1}^n\varepsilon_ix_i\right)^2\right]=\frac{1}{\sigma^4}E\left[\sum_{i=1}^n\varepsilon_i^2x_i^2+2\sum_{i\neq j}\varepsilon_i\varepsilon_jx_ix_j\right]\\
&=\frac{1}{\sigma^2}\sum_{i=1}^nx_i^2
\end{align}
なお三行目では $\varepsilon_i$ が互いに独立であること、および $E\left[\varepsilon_i^2\right] = V[\varepsilon_i] = \sigma^2$ を利用している。
この結果からクラメール・ラオの下限は以下となる。
\begin{align}
\frac{1}{I_{n}(\beta)} = \frac{\sigma^2}{\sum_{i=1}^nx_i^2}
\end{align}
[4]
まずは $\tilde{\beta}=\frac{\sum_{i=1}^nY_i}{\sum_{i=1}^nx_i}$ の期待値を計算する。
\begin{align}
E\left[\tilde{\beta}\right] &= E\left[\frac{\sum_{i=1}^nY_i}{\sum_{i=1}^nx_i}\right]= E\left[\frac{\sum_{i=1}^n(\beta x_i+\varepsilon_i)}{\sum_{i=1}^nx_i}\right]\\
&= \beta + \frac{1}{\sum_{i=1}^nx_i}E\left[\sum_{i=1}^n\varepsilon_i\right]=\beta
\end{align}
続いて分散を計算する。
\begin{align}
V\left[\tilde{\beta}\right] &= E\left[\tilde{\beta}^2\right] - \left(E\left[\tilde{\beta}\right]\right)^2\\
&=E\left[\frac{\left(\sum_{i=1}^n(\beta x_i+\varepsilon_i)\right)^2}{\left(\sum_{i=1}^nx_i\right)^2}\right]-\beta^2\\
&=\frac{1}{\left(\sum_{i=1}^nx_i\right)^2}E\left[\sum_{i=1}^n\left(\beta^2x_i^2+\varepsilon_i^2\right)+2\sum_{i\neq j}\beta^2x_ix_j\right]-\beta^2\\
&=\frac{1}{\left(\sum_{i=1}^nx_i\right)^2}\left[\beta^2\left(\sum_{i=1}^nx_i\right)^2+E\left[\sum_{i=1}^n\varepsilon_i^2\right]\right]-\beta^2\\
&=\frac{n\sigma^2}{\left(\sum_{i=1}^nx_i\right)^2}
\end{align}
[5]
$\hat{\beta}_{ML}$の分散を計算する。
\begin{align}
V\left[\hat{\beta}_{ML}\right] &= E\left[\hat{\beta}_{ML}^2\right]-\left(E\left[\hat{\beta}_{ML}\right]\right)^2\\
&=E\left[\left(\frac{\sum_{i=1}^nY_ix_i}{\sum_{i=1}^nx_i^2}\right)^2\right]-\beta^2=E\left[\left(\frac{\sum_{i=1}^n(\beta x_i+\varepsilon_i)x_i}{\sum_{i=1}^nx_i^2}\right)^2\right]-\beta^2\\
&=\frac{1}{\left(\sum_{i=1}^nx_i^2\right)^2}E\left[\left(\sum_{i=0}^{n}\varepsilon_ix_i\right)^2\right]=\frac{1}{\left(\sum_{i=1}^nx_i^2\right)^2}\sigma^2\sum_{i=1}^nx_i^2\\
&=\frac{\sigma^2}{\sum_{i=1}^nx_i^2}
\end{align}
ここで、Cauchy–Schwarzの不等式から
\begin{align}
&\left(\sum_{i=1}^nx_i\right)^2\leq n\sum_{i=1}^{n}x_i^2\\
\leftrightarrow &\frac{1}{\sum_{i=1}^{n}x_i^2}\leq \frac{n}{\left(\sum_{i=1}^nx_i\right)^2}
\end{align}
となるので分散のより小さい$\hat{\beta}_{ML}$の検出力の方が優れることが分かる。
問2
[1]
累積分布関数 $F(r)$ は同時確率密度関数から以下のように求められる。
\begin{align}
F(r) &= \int_{0}^{r}\int_{0}^{2\pi}\frac{1}{\pi\theta^2}r^{'} dr^{'}d\theta\\
&= 2\pi\left[\frac{r^{'2}}{2\pi\theta^2}\right]_0^r=\frac{r^2}{\theta^2}
\end{align}
[2]
[1] より E[R] は以下の通り。
\begin{align}
E[R] &= \int_{0}^{\theta}r\frac{2r}{\theta^2}dr=\left[\frac{2r^3}{3\theta^2}\right]_{0}^{\theta}\\
&= \frac{2}{3}\theta
\end{align}
また、分散は以下の通り。
\begin{align}
V[R] &= E\left[R^2\right]-\left(E[R]\right)^2\\
&= \int_{0}^{\theta}r^2\frac{2r}{\theta^2}dr - \frac{4}{9}\theta^2\\
&= \left[\frac{r^4}{2\theta^2}\right]_{0}^{\theta}- \frac{4}{9}\theta^2=\frac{1}{18}\theta^2
\end{align}
[3]
順序統計量の問題。$R_{(n)}$ の累積分布関数 $G(r)$ は
\begin{align}
G(r) &= P(R_{1}\leq r)\times P(R_{2}\leq r)\times ... \times P(R_{n}\leq r)\\
&= \frac{r^{2n}}{\theta^{2n}}
\end{align}
確率密度関数が上記より求まる。
\begin{align}
g(r) &= \frac{d g(r)}{d r}=\frac{2n r^{2n-1}}{\theta^{2n}}
\end{align}
[4]
$R_1, R_2, ... R_n$ に関する尤度関数 $L(\theta)$ は[1]より下記のようになる。
\begin{align}
L(\theta) &= \frac{2r_1}{\theta^2}\times \frac{2r_2}{\theta^2}\times ...\frac{2r_n}{\theta^2}
\end{align} = \frac{2^n\Pi_{i=1}^nr_n}{\theta^{2n}}
$L(\theta)$は$\theta$に関する単調現象関数であることが分かる。
今、$0\leq R_1 \leq ... \leq R_n \leq \theta$ であることから、$L(\theta)$ を最大にする $\theta$ の値は$\theta$ の最小値である $R_n$ となる。
すなわち、$\hat{\theta}_{ML}=R_n$ である。
[5]
[3]、[4] より
\begin{align}
E\left[\hat{\theta}_{ML}\right] &= E[R_n]=\int_0^\theta r g(r)dr\\
&= \int_0^\theta r\frac{2n r^{2n-1}}{\theta^{2n}}dr = \left[\frac{2n}{2n+1}\frac{r^{2n+1}}{\theta^{2n}}\right]_0^{\theta}\\
&=\frac{2n}{2n+1}\theta
\end{align}
となる。したがって $a=\frac{2n+1}{2n}$, $b=0$である。
$\hat{\theta}_{U}$の分散は下記の通り。
\begin{align}
V\left[\hat{\theta}_{U}\right] &= E\left[\frac{(2n+1)^2}{(2n)^2}\hat{\theta}_{ML}^2\right]-\left(E\left[\hat{\theta}_{U}\right]\right)^2\\
&=\frac{(2n+1)^2}{(2n)^2}\int_0^{\theta}r^2\frac{2n r^{2n-1}}{\theta^{2n}}dr-\theta^2\\
&=\frac{(2n+1)^2}{(2n)^2}\left[\frac{2n}{2n+2}\frac{r^{2n+2}}{\theta^{2n}}\right]_0^{\theta}-\theta^2\\
&=\left(\frac{(2n+1)^2-4n(n+1)}{4n(n+1)}\right)\theta^2=\frac{\theta^2}{4n(n+1)}
\end{align}
問3
[1]
ベルヌーイ試行をn回実施しているため、$S_n$ は二項分布$B(n,\theta)$に従う。
従って、$E[S_n] = n\theta$, $V[S_n]=n\theta(1-\theta)$となる。
[2]
[1]より尤度関数$L(\theta)$は以下の通り。
L(\theta) = {}_n C_k \theta^{S_n}(1-\theta)^{n-S_n}
上記より、$\theta$ は統計量$S_n$を通じてのみ観察値に関係することになるため、$S_n$は$\theta$の十分統計量と言える。
次に上記の尤度関数の対数尤度関数$l(\theta)=\log L(\theta)$から、最尤推定量を求める。
\begin{align}
\frac{\partial}{\partial\theta}l(\theta) &= \frac{\partial}{\partial\theta}\left(\log {}_n C_k+S_n\log\theta+(1-S_n)\log(1-\theta)\right)\\
&=\frac{S_n}{\theta}-\frac{n-S_n}{1-\theta} = \frac{S_n-n\theta}{\theta(1-\theta)}
\end{align}
従って、$\frac{\partial}{\partial\theta}l(\theta)=0$ となる最尤推定量 $\hat{\theta}_{ML}$ は以下の通り。
\hat{\theta}_{ML} = \frac{S_n}{n}
[3]
[1]より、$E\left[S_n^2\right] = V[S_n]+\left(E[S_n]\right)^2=n\theta(n\theta-\theta+1)$ となる。
$MSE[T_n]$ を求める。
\begin{align}
MSE[T_n] &= E\left[(T_n-\theta)^2\right] = E\left[(\alpha_n S_n+\beta_n-\theta)^2\right]\\
&= \alpha_n^2E\left[S_n^2\right]+2\alpha_n(\beta_n-\theta)E[S_n]+(\beta_n-\theta)^2\\
&= \left((n^2-n)\alpha_n-2n\alpha_n+1\right)\theta^2+\left(n\alpha_n^2+2n\alpha_n\beta_n-2\beta_n\right)\theta+\beta_n^2
\end{align}
これが、$\theta$に依存しない条件は$\theta$の2次、1次の項の係数が0になることである。
それぞれ計算して $\alpha_n = \frac{1}{\sqrt{n}(\sqrt{n}\mp1)}$, $\beta_n=\mp\frac{1}{2(\sqrt{n}\mp1)}$となる。
この時、$MSE[T_n]=\beta_n^2$ が最小になるのは$\beta_n=\frac{1}{2(\sqrt{n}+1)}$ の時であり、
$MSE[T_n]=\frac{1}{4(\sqrt{n}+1)^2}$。
[4]
$V\left[\hat{\theta}_{ML}\right] = \frac{1}{n^2}V[S_n]$であるので、[1]と[3]から$MSE[T_n]$の方が小さくなる条件は下記。
\frac{\theta(1-\theta)}{n} \geq \frac{1}{4(\sqrt{n}+1)^2}
不等式を整理して
\begin{align}
&\theta^2-\theta+\frac{n}{4(\sqrt{n}+1)^2}\leq0\\
\leftrightarrow &\left|\theta-\frac{1}{2}\right|\leq \frac{\sqrt{2\sqrt{n}+1}}{2(\sqrt{n}+1)}
\end{align}
これが$V\left[\hat{\theta}_{ML}\right]\geq MSE[T_n]$の条件である。