2021年11月21日に行われた統計検定1級統計数理の解答です。問題はホームページに公開されています．間違いがあれば教えてください．
以下の表記を用いています．
- pdf: 確率密度関数
- i.i.d: 互いに独立に同一分布に従う
- $E[X]$: Xの期待値
- $V[X]$: Xの分散
解答
問1
[1]
$$
E[X] = \int_0^\infty xe^{-x}\mathrm{d}x = \Gamma(2)=1,\quad E[Y] = \int_0^1 y,\mathrm{d}y = \frac{1}{2}
$$
[2] 独立だから
E[XY] = E[X]E[Y] = \frac{1}{2}
[3] $Z=X+Y$ のpdfは $X$ のpdfと $Y$ のpdfの畳み込みである：
f_Z(z) = \int f_X(z-w)\,f_Y(w)\,\mathrm{d}w
被積分関数は $0<z-w$ かつ $0<w<1$ のときに0でない値をとる．
- $z < 0$ のとき， $0<z-w$ かつ $0<w<1$を満たす $w$ は存在しないため $f_Z(z)=0$ ．
- $0 \leq z < 1$ のとき
$$
f_Z(z) = \int_0^z f_X(z-w),f_Y(w),\mathrm{d}w = \int_0^z e^{-(z-w)}\mathrm{d}w = 1-e^{-z}
$$ - $1\leq z$ のとき
$$
f_Z(z) = \int_0^1 f_X(z-w),f_Y(w),\mathrm{d}w = \int_0^1 e^{-(z-w)}\mathrm{d}w = (e-1)e^{-z}
$$
（グラフ略）
[4] $h$ の単調性から
$$
F_X(x) = P(X\leq x) = P(h(X)\leq h(x)) = P(Y\leq h(x)) = F_Y(h(x))
$$
となる．また $0<x$ と $0<y<1$ に対し
\begin{array}{ll}
&F_X(x)=\int_0^x e^{-x'}\mathrm{d}x'=1-e^{-x} \\
&F_Y(y)=\int_0^y \mathrm{d}y' = y
\end{array}
であるから $h(x)=1-e^{-x}$ となる．この $h$ に対し
$$
E[XY] = E[Xh(X)] = E[X-Xe^{-X}] = E[X] - E[Xe^{-X}]
$$
となる．$E[X]$ は[1]から1． $E[Xe^{-X}]$ は
$$
E[Xe^{-X}] = \int_0^\infty xe^{-x}e^{-x}\mathrm{d}x = \frac{1}{4}\int_0^\infty 2xe^{-2x}\mathrm{d}(2x) = \frac{1}{4}\Gamma(2)=\frac{1}{4}
$$
となるから
$$
E[XY] = 1-\frac{1}{4} = \frac{3}{4}
$$
問2
[1] $X$は超幾何分布に従い，確率関数は
f_X(x) = \left\{
\begin{array}{ll}
\frac{_{N_A}C_{x}\cdot{}_{100-N_A}C_{15-x}}{_{100}C_{15}}\quad &\max(0, N_A-85)\leq x \leq \min(15, N_A)\\
0 &\mathrm{otherwise}
\end{array}
\right.
である．
[2] 尤度関数$L(N_A)$は
L(N_A) = \frac{_{N_A}C_{4}\cdot{}_{100-N_A}C_{11}}{_{100}C_{15}}
である．
\frac{L(N_A+1)}{L(N_A)} = \frac{_{N_A+1}C_{4}\cdot{}_{99-N_A}C_{11}}{_{N_A}C_{4}\cdot{}_{100-N_A}C_{11}} = \frac{(N_A+1)(89-N_A)}{(N_A-3)(100-N_A)} < 1
を解くと$N_A \geq 26$となるから$L(4)<\cdots < L(25) < L(26) > L(27) > \cdots$．よって$N_A$の最尤推定量は$26$．
[3]
$$
1 = \sum_{n=0}^{100} P(N_A=n) = C \sum_{n=0}^{100}(n+1) = C\frac{101}{2}(1+101)
$$
より$C=1/5151$．
[4] Bayesの定理より事後分布は
\pi(N_A|x=4)\propto f_X(x=4|N_A)P(N_A)\propto {}_{N_A}C_{4}\cdot{}_{100-N_A}C_{11}(N_A+1)
となる．
\frac{\pi(N_A+1|x=4)}{\pi(N_A|x=4)} = \frac{{}_{N_A+1}C_{4}\cdot{}_{99-N_A}C_{11}(N_A+2)}{{}_{N_A}C_{4}\cdot{}_{100-N_A}C_{11}(N_A+1)}=\frac{(N_A+1)(89-N_A)(N_A+2)}{(N_A-3)(100-N_A)(N_A+1)}<1
を解くと$N_A \geq 30$となるから$N_A$の事後モードは30.
問3
[1]
$$
M_X(s) = E[e^{sX}] = e^{-\lambda}\sum_{x=0}^\infty \frac{(\lambda e^s)^x}{x!} = e^{-\lambda}e^{\lambda e^s} = \exp[\lambda(e^s-1)]
$$
[2]
[2-1] $T=X_1+\cdots+X_n$ のモーメント母関数は，$X_1,...,X_n$ が i.i.d.であることから
$$
M_T(s)=E[e^{s(X_1+\cdots+X_n)}] = E[e^{sX_1}]\cdots E[e^{sX_n}] = (E[e^{sX_1}])^n = \exp[n\lambda(e^s-1)]
$$
となる．よって $T$ は $Po(n\lambda)$ に従う．
[2-2] $X_1,...,X_n$ の同時確率関数は
$$
p(\boldsymbol{x};\lambda)=\frac{1}{x_1!\cdots x_n!}\lambda^{x_1+\cdots+x_n}e^{-n\lambda}
$$
となるから因子分解定理より $T=X_1+\cdots+X_n$ は $\lambda$ の十分統計量である．
[2-3] 対数尤度は
$$
\log L(\lambda;\boldsymbol{x})= (x_1+\cdots+x_n)\log\lambda-n\lambda-\log(x_1!\cdots x_n!)
$$
となるから
$$
\frac{\partial}{\partial \lambda}\log L(\lambda;\boldsymbol{x})=\frac{x_1+\cdots+x_n}{\lambda}-n = 0
$$
を解いて $\hat{\lambda}=T/n$ を得る．
[3]
$$
\left|\frac{t-n\lambda}{\sqrt{n\lambda}}\right| \leq 2
$$
を両辺2乗して整理すると
$$
n^2\lambda^2-2n(t+2)\lambda + t^2 \leq0
$$
となり，これを解いて信頼区間
$$
\frac{t+2-2\sqrt{t+1}}{n} \leq \lambda \leq \frac{t+2+2\sqrt{t+1}}{n}
$$
を得る．
[4] 前問で求めた信頼区間の中点は
$$
\frac{t}{n}+\frac{2}{n}=\hat{\lambda}+\frac{2}{n}
$$
である．これは最尤推定量よりも大きな値をとり，$n$を十分大きくすると最尤推定量に近づいていく．
問4
[1] $X_1,...,X_n$がi.i.dであることから
$$
V[\bar{X}] = V\left[\frac{\sum_{i=1}^n X_i}{n}\right] = \frac{1}{n^2}V\left[\sum_{i=1}^n X_i\right] = \frac{1}{n^2}\sum_{i=1}^nV\left[ X_i\right] = \frac{1}{n}V[X_1] = \frac{\sigma^2}{n}
$$
[2]
\begin{array}{ll}
E[(X_1-X_2)^3] &\!\!\!\!= E[\{(X_1-\mu)-(X_2-\mu)\}^3]\\
&\!\!\!\!= E[(X_1-\mu)^3]-3E[(X_1-\mu)^2(X_2-\mu)] + 3E[(X_1-\mu)(X_2-\mu)^2]-E[(X_2-\mu)^3]\\
&\!\!\!\!= E[(X_1-\mu)^3]-3E[(X_1-\mu)^2]E[(X_2-\mu)] + 3E[(X_1-\mu)]E[(X_2-\mu)^2]-E[(X_2-\mu)^3]\\
&\!\!\!\!= \tau+0+0-\tau = 0
\end{array}
となる（2行目から3行目で独立性を用いた）．
[3] 独立性を用いる．
\begin{array}{ll}
&E[Y_i^3] = E[(X_i-\mu)^3]=\tau \\
&E[Y_i^2Y_j] = E[Y_i^2]E[Y_j] = E[(X_i-\mu)^2]E[X_j-\mu] = 0 \\
&E[Y_iY_jY_k] = E[Y_i]E[Y_j]E[Y_k] = E[(X_i-\mu)]E[X_j-\mu]E[X_k-\mu] = 0
\end{array}
[4] 前問の $Y_i$ を用いると
$$
X_i-\bar{X}=Y_i+\mu-\frac{Y_1+\cdots+Y_n+n\mu}{n} = \frac{(n-1)Y_i-\sum_{j\neq i}Y_j}{n}
$$
と表せるから
\begin{array}{ll}
E[\sum_{i=1}^n (X_i-\bar{X})^3] &\!\!\!\!= \sum_{i=1}^{n} E[(X_i-\bar{X})^3] = \frac{1}{n^3}\sum_{i=1}^n E[\{(n-1)Y_i-\sum_{j\neq i}Y_j\}^3] \\
&\!\!\!\!= \frac{1}{n^3}\sum_{i=1}^n \{(n-1)^3\tau-(n-1)\tau\}\\
&\!\!\!\!= \dfrac{(n-1)(n-2)}{n}\tau
\end{array}
となる（1行目から2行目で前問の結果を用いた）．
[5]
\begin{array}{ll}
E[(\sum_{i=1}^n a_i X_i)^3]&\!\!\!\! = E[(\sum_{i=1}^n a_i (Y_i+\mu))^3] \\
&\!\!\!\! = E[(\sum_{i=1}^n a_iY_i)^3]+3\mu\sum_{i=1}^n a_i E[(\sum_{i=1}^n a_iY_i)^2] + 3\mu^2(\sum_{i=1}^n a_i)^2E[\sum_{i=1}^n a_iY_i] + \mu^3(\sum_{i=1}^n a_i)^3
\end{array}
となり，第一項は[3]の結果を用いると
$$
E[(\sum_{i=1}^n a_i Y_i)^3] = \sum_{i=1}^n a_i^3E[Y_i^3] = \tau\sum_{i=1}^n a_i^3
$$
となるから，$\hat{\tau}$ が不偏推定量になるための条件は
$$
\sum_{i=1}^n a_i^3 = 1, \quad \sum_{i=1}^n a_i=0
$$
である．
問5
[1] $X_1,...,X_n$は独立に$N(0,1)$に従うから$V[\boldsymbol{x}]=I$（単位行列）である．よって
$$
V[\boldsymbol{y}] = V[L\boldsymbol{x}] = LV[\boldsymbol{x}]L^T = LL^T
$$
となる．
[2] $L\boldsymbol{x}$ と $M\boldsymbol{x}$ も多次元正規分布に従うから，$L\boldsymbol{x}$ と $M\boldsymbol{x}$の独立性は無相関性と同値である． よって $\mathrm{Cov}(L\boldsymbol{x}, M\boldsymbol{x})=O$ となる条件を求める．
$$
\mathrm{Cov}(L\boldsymbol{x}, M\boldsymbol{x}) = L\mathrm{Cov}(\boldsymbol{x}, \boldsymbol{x})M^T = LV[\boldsymbol{x}]M^T = LM^T
$$
よって条件は$LM^T=O$である．
[3] 前問の結果を用いると $L\boldsymbol{x}-AM\boldsymbol{x}$ と $M\boldsymbol{x}$が独立となる条件は
$$
(L-AM)M^T=O
$$
である．$M$はフルランクだから$MM^T$は正則であり，
$$
A=LM^T(MM^T)^{-1}
$$
と解ける．
[4] $M$ を直交行列 $U, V$ と対角行列 $\Sigma$ を用いて $M=U\Sigma V^T$ と特異値分解すると $A$ が満たす条件は
$$
LV\Sigma^TU^T = AU\Sigma V^T V\Sigma^TU^T
$$
となる．$\Sigma=\mathrm{diag}[\sqrt{\sigma_1},...,\sqrt{\sigma_p},0,...,0]$としてこれを整理すると
$$
A = LV\Sigma ,\mathrm{diag}[1/\sigma_1,...,1/\sigma_p,0,...,0]U^T
$$
とできるから，常に $A$ は存在する．