統計学実践ワークブックまとめ(第1~第4章)

第1章 事象と確率

1. 事象と確率

• 確率：試行によって起こりうるすべての結果を標本空間 $\Omega$ と定義し、$\Omega$ の部分集合から区間 [0,1] 上の実数への関数 $P$ を確率とみなす。
  • 次の性質を満たす:
    1. $A \subset \Omega \Rightarrow P(A) \geq 0$
    2. $P(\Omega) = 1$
    3. $A_1$ と $A_2$ が排反ならば $P(A_1 \cup A_2) = P(A_1) + P(A_2)$

2. 条件付き確率とベイズの定理

• 条件付き確率：2つの事象 $A$ と $B$ があって、$P(B) > 0$ のとき、

$$
P(A|B) = \frac{P(A \cap B)}{P(B)}
$$

を$B$を与えたときの$A$の条件付き確率と呼ぶ。

• ベイズの定理：$B_1, ..., B_n$ を互いに排反な事象で、$P(B_k) > 0$、かつ $\bigcup_{k=1}^{n} B_k = \Omega$ を満たすとき、事象 $A$ に対して、$B_j$ の条件付き確率は

$$
P(B_j|A) = \frac{P(A|B_j)P(B_j)}{\sum_{i=1}^{n} P(A|B_i)P(B_i)}
$$

このとき、$P(A)$ を事前確率、$P(B_j|A)$ を事後確率とよぶ。

3. 確率変数と確率関数

• 確率変数：$\Omega$ を確率が定義されている標本空間とするとき、$\Omega$ から実数 $R$ への関数 $X$ を確率変数とよぶ。通常は $X$ と書く。

• 確率関数：確率変数 $X$ をとる範囲を $\chi$ とし、このとき $X$ 上に定義された確率を確率関数という。

4. 期待値と分散

• 期待値：確率変数 $X$ とその確率関数 $p(x)$ において $X$ の期待値は次の式で定義される。

$$
E[X] = \sum_{x} x p(x) = \mu
$$

• 分散：$X$ の分散は次の式で定義される。

$$
V[X] = E[(X-\mu)^2] = \sum_{x} (x-\mu)^2 p(x)
$$

• 分散の公式：分散の式を変形すると、以下の式が導出できる。

$$
V[X] = E[X^2] - E[X]^2
$$

• 連続確率変数：確率変数 $X$ が連続である場合、確率密度関数 $f(x)$ を次のように定義する。

$$
f(x) = \lim_{\epsilon \to 0} \frac{P(x-\epsilon < X \leq x+\epsilon)}{\epsilon}
$$

• 期待値と分散：連続確率変数 $X$ の期待値と分散は次の式で定義される。

$$
E[X] = \int_{-\infty}^{\infty} x f(x) , dx
$$

$$
V[X] = \int_{-\infty}^{\infty} (x-\mu)^2 f(x) , dx
$$

第2章 確率分布と母関数

1. 累積分布関数

• 累積分布関数：確率変数 $X$ の累積分布関数は $F(x) = P(X \leq x)$ と書く。
  • これは $x_i \leq x$ を満たす、すべての $x$ について $P(x_i)$ を足し合わせたもの。

$$
F(x) = \sum_{x_i \leq x} P(x_i)
$$

• 連続確率変数：連続確率変数の場合、累積分布関数 $F(x_i)$ は次の式で定義される。

$$
F(x) = \int_{-\infty}^{x} f(x_i) , dx_i
$$

2. 生存関数

• 生存関数：生存時間を $t$ としたとき、$T$ 以上である確率を表すのが生存関数で、次の式で定義される。

$$
S(t) = P(T \geq t) = \int_{t}^{\infty} f(x) , dx
$$

3. ハザード関数

• ハザード関数：生存時間 $T$ において、ある時刻 $t$ まで生存した個体が、その後の微小時間 $\Delta t$ の間に死亡する条件付き確率がハザード関数 $h(t)$。

$$
h(t) = \lim_{\Delta t \to 0} \frac{P(t \leq T < t+\Delta t | T \geq t)}{\Delta t}
$$

• ハザード関数を確率密度関数と生存関数で表す：

$$
h(t) = \frac{f(t)}{S(t)} = -\frac{d}{dt} \log S(t)
$$

• 導出：

1. 条件付き確率の定義により、

   $$
   P(t \leq T < t+\Delta t | T \geq t) = \frac{P(t \leq T < t+\Delta t \cap T \geq t)}{P(T \geq t)}
   $$

   $$
   = \frac{P(t \leq T < t+\Delta t)}{P(T \geq t)} = \frac{F(t+\Delta t) - F(t)}{S(t)}
   $$

   $$
   P(t \leq T)\text{：累積分布関数}
   $$

   $$
   P(T \geq t)\text{：生存関数}
   $$

   よって、

   $$
   h(t) = \lim_{\Delta t \to 0} \frac{P(t \leq T < t+\Delta t | T \geq t)}{\Delta t} = \lim_{\Delta t \to 0} \frac{F(t+\Delta t) - F(t)}{\Delta t S(t)} = \frac{f(t)}{S(t)}
   $$

2. 生存関数 $S(t)$ の対数微分をとると、

   $$
   \frac{d}{dt} \log S(t) = \frac{1}{S(t)} \frac{dS(t)}{dt}
   $$

   したがって、

   $$
   h(t) = -\frac{d}{dt} \log S(t)
   $$

4. 同時確率関数と条件付き確率密度関数

• 同時確率関数：
  • 2つの確率変数 $X,Y$ について、$X=x$ かつ $Y=y$ となる同時確率関数を以下のように定義する。

$$
p(x,y) = P(X=x,Y=y)
$$

• 右辺の式は以下を意味する

$$
P(X=x, Y=y) = P(X=x \cap Y=y)
$$

• 周辺確率関数：
  • 周辺確率関数 $P_X(x)$ は、全ての $y$ についての $P(x,y)$ の和を取ることで求められる。（$y$を消去する）

$$
P_X(x) = \sum_y P(x, y)
$$

• 条件付き確率関数：
  • $X = x$ が与えられたときの $Y$ の条件付き確率関数は以下のように定義される。

$$
P_{Y|X}(y|x) = \frac{P(x, y)}{P_X(x)}
$$

• 連続確率変数の場合：
  • 同時確率密度関数は、範囲 $x_1 \leq X \leq x_2, y_1 \leq Y \leq y_2$ において以下のようになる。

$$
P(x_1 \leq X \leq x_2, y_1 \leq Y \leq y_2) = \int_{x_1}^{x_2} \int_{y_1}^{y_2} f(x,y) , dx , dy
$$

• $X$ に関する周辺確率密度関数 $f_X(x)$ は次のように定義される。

$$
f_X(x) = \int_{-\infty}^\infty f(x, y) , dy
$$

• $X=x$ で与えられたときの $Y$ の条件付き確率密度関数 $f_{Y|X}(y|x)$ は以下のように定義される。

$$
f_{Y|X}(y|x) = \frac{f(x, y)}{f_X(x)}
$$

第3章 分布の特性値

1. 同時分布の特性値

• 共分散：2つの確率変数 $X$, $Y$ の間の関係性を示す指標であり、次の式で定義される。

$$
\mathrm{Cov}[X, Y] = E[(X - E[X])(Y - E[Y])]
$$

• 公式：上記の定義を頑張って計算すると以下が導出できる。

$$
\mathrm{Cov}[X, Y] = E[XY] - E[X]E[Y]
$$

• 相関係数：各確率変数を標準化して計算したものを相関係数といい、次の式で定義される。

$$
\rho_{X,Y} = \frac{\mathrm{Cov}[X, Y]}{\sigma_X \sigma_Y}
$$

2. 条件付き特性値

• 条件付き期待値：$X$ が与えられたときの $Y$ の条件付き期待値は次の式で定義される。

$$
E[Y|X] = \int_{-\infty}^{\infty} y f_{Y|X}(y|x) , dy
$$

• 条件付き分散：$X$ が与えられたときの $Y$ の条件付き分散は次の式で定義される。

$$
V[Y|X] = E[Y^2|X] - (E[Y|X])^2
$$

3. 期待値と分散の性質

• 期待値の性質：確率変数 $X$, $Y$ と定数 $a$, $b$, $c$ について

$$
E[aX + bY + c] = aE[X] + bE[Y] + c
$$

• 分散の性質：確率変数 $X$, $Y$ と定数 $a$, $b$ について

$$
V[X + Y] = V[X] + V[Y] + \mathrm{Cov}[X, Y]　\text{（独立なら共分散=0）}
$$

• 条件付き期待値の性質：確率変数 $X$, $Y$ について

$$
E[E[X|Y]] = E[X]
$$

• 条件付き分散：確率変数 $X$, $Y$ について

$$
V[X] = E[V[X|Y]] + V[E[X|Y]]
$$

第4章 変数変換

1. 重積分の変数変換

• １次元の場合：1変数関数の積分では変数変換 = 置換積分。$t_1, t_2$ を $x(t)$ がそれぞれ $x_1, x_2$ になる $t$ の値とし、$x = x(t)$ と変数変換すると、以下のように表せる。

$$
\int_{x_1}^{x_2} f(x) , dx = \int_{t_1}^{t_2} f(x(t)) x'(t) , dt
$$

座標が変換された伸縮率を調整するために $x'(t)$ が必要。

• 2次元の場合：$x, y$ から新しい座標 $u, v$ に移ることを考える。ここで新しい座標系が $x, y$ と $u, v$ の関係を以下のように表せるとする。

$$
\Phi(u, v) = (x(u, v), y(u, v))
$$

このとき、$x, y$ でみた時の積分領域 $D$ が、$u, v$ では $E$ になるとする。また、変数変換をしたものを $g(u, v)$ と表す。

$$
g(u, v) = f(x(u, v), y(u, v))
$$

このとき、重積分

$$
\iint_D f(x, y) , dx , dy
$$

は、ヤコビアンを用いて $u, v$ での重積分として、以下のように表せる。

$$
\iint_D f(x, y) , dx , dy = \iint_E f(x(u, v), y(u, v)) |J(u, v)| , du , dv = \iint_E g(u, v) |J(u, v)| , du , dv
$$

ヤコビアンと呼ばれる関数 $J(u, v)$ は以下の行列式で表す：

$$
J(u, v) \equiv \frac{\partial (x, y)}{\partial (u, v)} = \det \begin{vmatrix}
\frac{\partial x}{\partial u} & \frac{\partial x}{\partial v} \
\frac{\partial y}{\partial u} & \frac{\partial y}{\partial v}
\end{vmatrix}
$$

💡行列式の役割は体積拡大率を表すもので、ヤコビアン行列は変換することで比率が変化した面積（体積）の倍率調整の役割を果たす。

2. データの変換

• 対数変換：対数変換（Logarithmic Transformation）は、データの分布を正規化したり、外れ値の影響を軽減したりするために使用される。特に、右に歪んだ（右裾が長い）データ分布に適用されます。

  • 数式
    通常の対数変換は次の式で行う: $y = \log(x)$
  • 条件
    • $x > 0$、データが正である必要がある

• Box-Cox変換: Box-Cox変換（Box-Cox Transformation）は、データの分布を正規化するために使われます。対数変換の一般化バージョンであり、対数変換を含む様々な変換を行います。

  • 数式

$$
y(\lambda) = \begin{cases}
\frac{x^{\lambda} - 1}{\lambda} & \text{ if } \lambda \neq 0 \
\log(x) & \text{ if } \lambda = 0
\end{cases}
$$

• 条件
  • $x > 0$: データが正である必要がある

※ロジット、プロビット変換は第18章で記載する。

参考文献

• 日本統計学会公式認定 統計検定準1級対応 統計学実践ワークブック
• データ解析のための数理統計入門 （著者：久保川　達也）
• 数研講座シリーズ 大学教養 微分積分（著者：加藤　文元）
• 統計学のための数学入門30講 (科学のことばとしての数学)（著者：永田　靖）