[Statistics] 数理統計_確率変数・分布

Knowledge Tree

確率論 / 数理統計
│
├─ 確率論（Probability）
│   │
│   ├─ 確率変数
│   │   ├─ 確率変数 = 確率分布
│   │   └─ 多変量確率変数 = 多変量分布
│   │
│   ├─ 確率分布（一変量確率分布）
│   │   ├─ 分布関数（累積分布関数（CDF））
│   │   ├─ 離散型分布
│   │   │   └─ 確率質量関数（PMF）
│   │   │         ├─ ベルヌーイ分布
│   │   │         ├─ 二項分布
│   │   │         ├─ 幾何分布
│   │   │         ├─ 負の二項分布
│   │   │         ├─ ポアソン分布
│   │   │         └─ 超幾何分布
│   │   │
│   │   └─ 連続型分布
│   │       └─ 確率密度関数（PDF）
│   │             ├─ 一様分布
│   │             ├─ 指数分布
│   │             ├─ ガンマ分布
│   │             ├─ ベータ分布
│   │             ├─ 正規分布
│   │             ├─ カイ二乗分布
│   │             ├─ t分布
│   │             └─ F分布
│   │
│   ├─ 多変量確率分布
│   │   ├─ 同時分布
│   │   ├─ 周辺分布
│   │   └─ 条件付き分布
│   │       ├─ 条件付き確率質量関数
│   │       └─ 条件付き確率密度関数
│   │
│   ├─ 多変量分布の代表例
│   │   └─ 多変量正規分布
│   │       ├─ 平均ベクトル
│   │       ├─ 共分散行列
│   │       └─ 条件付き分布・周辺分布の閉性
│   │
│   ├─ 分布の特徴量
│   │   ├─ 期待値
│   │   ├─ 分散
│   │   ├─ 共分散
│   │   └─ 相関係数
│   │
│   ├─ 条件付き分布の特徴量
│   │   ├─ 条件付き期待値
│   │   └─ 条件付き分散
│   │
│   ├─ 分布の解析ツール
│   │   └─ 積率母関数（MGF）
│   │       ├─ モーメントの導出
│   │       ├─ 分布の一意性
│   │       └─ 独立和で加法性（積になる）
│   │
│   └─ 分解公式
│       ├─ 全期待値の法則
│       └─ 全分散の法則
│
├─ 統計的推論（Statistical Inference）
│   │
│   ├─ 推定
│   │   ├─ 最尤法（MLE）
│   │   ├─ ベイズ法
│   │   │   ├─ 事前分布
│   │   │   ├─ 尤度
│   │   │   └─ 事後分布
│   │   │
│   │   └─ 不完全データの統計処理
│   │       └─ EMアルゴリズム
│   │
│   └─ （発展）
│       ├─ 仮説検定
│       └─ 区間推定

確率変数

確率実験の結果（データ）を、数値に対応させる関数（ルール）

概念	入力	出力	意味
確率変数	実験結果 (ω)	数値 (x)	結果を数値に変換する

確率分布

確率変数が取りうる値に確率を、割り当てる関数（ルール）

概念	入力	出力	意味
確率分布	数値 (x)	確率	値がどれくらいの確率で出るか

確率分布の表現

確率分布は通常 累積分布関数（CDF） で表される。
また、離散型の場合は 確率質量関数（PMF）、連続型の場合は 確率密度関数（PDF） によって表現される。

確率分布
   ↓
累積分布関数（CDF）
   ↓
離散型 → 確率質量関数（PMF）
連続型 → 確率密度関数（PDF）

累積分布関数（CDF）

確率変数がある値以下になる確率を表す関数

定義

$$
F(x) = P(X \le x)
$$

概念	入力	出力	意味
CDF	数値 (x)	確率	確率変数が x 以下になる確率

性質

1. 単調増加
2. 値域は 0〜1

$$
0 \le F(x) \le 1
$$

1. 極限

$$
\lim_{x \to -\infty} F(x) = 0
$$

$$
\lim_{x \to \infty} F(x) = 1
$$

確率質量関数（PMF）=離散

離散型確率変数において、各値を取る確率を表す関数

定義

$$
p(x) = P(X = x)
$$

概念	入力	出力	意味
PMF	数値 (x)	確率	確率変数がその値を取る確率

性質

確率の総和は1

$$
\sum_x p(x) = 1
$$

CDFとの関係

$$
F(x) = \sum_{t \le x} p(t)
$$

確率密度関数（PDF）=連続

連続型確率変数において、確率の密度を表す関数

定義

$$
f(x)
$$

確率は区間で定義される

$$
P(a \le X \le b) =
\int_a^b f(x)dx
$$

概念	入力	出力	意味
PDF	数値 (x)	密度	確率の分布の濃さ

性質

密度の積分は1

$$
\int_{-\infty}^{\infty} f(x)dx = 1
$$

CDFとの関係

$$
F(x) = \int_{-\infty}^{x} f(t)dt
$$

また

$$
f(x) = \frac{d}{dx}F(x)
$$

まとめ

概念	入力	出力	役割
確率変数	実験結果	数値	結果を数値化
確率分布	数値	確率	値の確率を決める
CDF	数値	累積確率	分布の基本表現
PMF	数値	確率	離散分布
PDF	数値	密度	連続分布

代表的な確率分布の期待値と分散

離散型分布=確率質量関数（PMF）

分布	記号	期待値 (E[X])	分散 (Var(X))	補足
ベルヌーイ	$Ber(p)$	$p$	$p(1-p)$	二項のn=1
二項分布	$Bin(n,p)$	$np$	$np(1-p)$	独立和
幾何分布	$Geo(p)$	$1/p$	$(1-p)/p^2$	無記憶性
負の二項分布	$NB(r,p)$	$r/p$	$r(1-p)/p^2$	Geoの和
ポアソン分布	$Po(\lambda)$	$\lambda$	$\lambda$	極限分布
超幾何分布	$HG(N,M,n)$	$n \frac{M}{N}$	$n\frac{M}{N}(1-\frac{M}{N})\frac{N-n}{N-1}$	非復元

連続型分布=確率密度関数（PDF）

分布	記号	期待値 (E[X])	分散 (Var(X))	補足
一様分布	$U(a,b)$	$(a+b)/2$	$(b-a)^2/12$	基本
指数分布	$Exp(\lambda)$	$1/\lambda$	$1/\lambda^2$	無記憶性
ガンマ分布	$Ga(\alpha,\beta)$	$\alpha/\beta$	$\alpha/\beta^2$	指数の和
ベータ分布	$Be(a,b)$	$a/(a+b)$	$\frac{ab}{(a+b)^2(a+b+1)}$	共役事前
正規分布	$N(\mu,\sigma^2)$	$\mu$	$\sigma^2$	CLT
カイ二乗分布	$\chi^2_k$	$k$	$2kv	正規の2乗和
t分布	$t_k$	0 $k>1$	$k/(k-2)$(k>2)	標準化比
F分布	$F_{m,n}$	$n/(n-2)$ $n>2$	省略可	比の分布