#基本用語
- 確率変数(random variable)
Definition
それがとる各値に対して，それぞれ確率が与えられている変数
- 確率分布(probability distribution)
Definition
確率変数$X$がとる各値$x$に対する確率の重みの分布
Property
| 離散型 | 連続型 |
|---|---|
| $f(x_i)\geq 0$ | $f(x) \geq 0$ |
| $\displaystyle \sum_{i=1}^{\infty} f(x_i) = 1 $ | $\displaystyle \int_{-\infty}^{\infty}f(x)dx = 1 $ |
- 累積分布関数(cumulate probability distribution)
Definition
確率変数$X$がある値$x$以下の値となる確率を表す関数
Property
x_1 \lt x_2 \Rightarrow F(x_1) \leq F(x_2)\\
F(-\infty = 0)\\
F(\infty = 1)\\
P(a \leq x \leq b) = F(b)- f(a)
- 同時確率分布(joint probability distribution)
Definition
確率変数が複数個ある場合にそれぞれの確率変数がとる値とその確率を表した分布
| 離散型 | 連続型 |
|---|---|
| $P(X = x_i, Y = y_j ) = f(x_i, y_j)$ | $\displaystyle P((X, Y)\in A)=\iint_Cf(x, y)dxdy$ |
Property
| 離散型 | 連続型 |
|---|---|
| $f(x_i, y_j)\geq 0$ | $f(x, y) \geq 0$ |
| $\displaystyle \sum_i \sum_j f(x_i, y_j) = 1 $ | $\displaystyle \iint_S f(x, y)dxdy = 1 $ |
- 周辺確率分布(marginal probability distribution)
Definition
同時確率分布から，１つの確率変数のみに注目し，それ以外の確率変数は無視して，その確率の総和を表した分布
| 離散型 | 連続型 |
|---|---|
| $\displaystyle f_X(x_i) = \sum_j f(x_i, y_j)$ | $\displaystyle f_X(x)=\int_{-\infty}^{\infty}f(x, y)dy$ |
- 期待値(expectation)
Definition
\mu =E[X]=\sum{x_if(x_i)}=\int{xf(x)dx}=M_X'(0)
Property
E[c] = c\\
E[X + c] = E[X] + c\\
E[cX] = cE[X]\\
E[X + Y] = E[X] + E[Y]\\
E[\bar{X}] = \mu\\
$X$, $Y$が独立ならば
E[XY]=E[X]E[Y]
-
分散(variance)
Definition
\sigma^2=V[X]=E[(X-\mu)^2]=\sum{(x_i-\mu)^2}f(x_i)=\int{(x-\mu)^2}f(x)dx
=M_X''(0)-M_X'(0)^2
Property
V[c] = 0\\
V[X + c] = V[X]\\
V[cX] = c^2 V[X]\\
V[X + Y] = V[X] + V[Y] + 2Cov[X, Y]\\
V[\bar{X}] = \frac{\sigma^2}{n}\\
V[X] = E[X^2] -E[X]^2
- 標準偏差(standard deviation)
Definition
\sigma=\sqrt{V[X]}
- 共分散(covariance)
Definition
\sigma_{XY}=Cov[X,Y]=E[(X-\mu_X)(Y-\mu_Y)]
Property
Cov[X, Y]= E[XY] - E[X]E[Y]
$X$, $Y$が独立ならば
Cov[X, Y] = 0
- 相関係数(correlation)
Definition
\rho_{XY}=\frac{\sigma_{XY}}{\sigma_X\sigma_Y}=\frac{Cov[X,Y]}{\sqrt{V[X]}\sqrt{V[Y]}}
- モーメント母関数(moment generating function)
M_X(t)=E[e^{tX}]
Property
$M_X (t)$を$n$回微分して$t=0を$代入すると$E[X^n]$となる.
$X,Y$が独立ならば，
M_{X+Y}(t)=M_X (t) M_Y (t)
#離散型確率分布(discreet)
###超幾何分布(hypergeometric)
Definition
$M$個の成功状態をもつ$N$個の要素からなる母集団から$n$個の要素を非復元抽出したときに，$k$個の成功状態が含まれる確率を与える分布
P_{N,M,n}(k)=\frac{\binom{M}{k}\binom{N-M}{n-k}}{\binom{N}{n}}
Property
E[X]=n\frac{M}{N}
V[X]=n\frac{M}{N}\frac{N-M}{N}\frac{N-n}{N-1}
###二項分布(binomial)
Definition
確率$p$で当たるような試行を独立に$n$回繰り返したときに$k$回当たる確率を与える分布
P_{n,p}(k)=\binom{n}{k}p^kq^{n-k}\\
q\equiv1-p
Property
M_X(t)=(pe^t+q)^n
E[X]=np
V[X]=npq
- 再生性を持つ
- $Bi(1,p)$をベルヌーイ分布という
###ポアソン分布(Poisson)
Definition
単位時間あたり平均$λ$回起こるようなランダム(独立)な事象が，単位時間に$k$回起きる確率を与える分布
P_{\lambda}(k)=e^{-\lambda}\frac{\lambda^k}{k!}\\
\lambda \gt 0
Property
M_X(t)=e^{\lambda(e^t-1)}
E[X]=\lambda
V[X]=\lambda
- 再生性を持つ
Poissonの小数の法則
$np=\lambda$のもとで、$n \to \infty$，$p \to 0$となる極限で
\binom{n}{k}p^k(1-p)^{n-k}\to e^{-\lambda}\frac{\lambda^k}{k!}
Example
- ボルトキーヴィッチの「プロイセン陸軍で馬に蹴られて死亡した兵士数」
- 大量生産の不良品数
- 遺伝子の突然変異数
###幾何分布(geometric)
Definition
確率$p$で成功するようなベルヌーイ試行を繰り返して，初めて成功を得るまでの試行回数$k$の確率分布
P_{p}(k)=pq^{k-1}\\
q\equiv1-p
Property
M_X(t)=\frac{pe^t}{1-qe^t}\\
t\lt-\ln{q}
E[X]=\frac{1}{p}
V[X]=\frac{q}{p^2}
- 無記憶性を持つ
###負の二項分布(negative binomial)
Definition
確率$p$で成功するようなベルヌーイ試行を繰り返して$r$回目の成功を得るまでの失敗回数$k$の確率分布
P_{r,p}(k)=\binom{k+r+1}{k}p^rq^{k}\\
q\equiv1-p
Property
M_X(t)=\frac{p^k}{(1-qe^t)^k}
E[X]=k\frac{q}{p}
V[X]=k\frac{q}{p^2}
- 再生性を持つ
###離散一様分布(discreet uniform)
Definition
$N$個の値を同じ確率で取り得る確率変数$X$が従う確率分布
P_{N}(k)=\frac{1}{N}\\
k=1,2,\cdots,N
Property
M_X(t)=\frac{e^t}{N}\frac{1-e^{Nt}}{1-e^t}
E[X]=\frac{N+1}{2}
V[X]=\frac{N^2-1}{12}
#連続型確率分布(continuous)
###正規分布（ガウス分布）(normal)
Definition
f(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp{\biggl(-\frac{(x-\mu)^2}{2\sigma^2}\biggr)}
Property
M_X(t)=\exp{\Bigl({\mu}t+\frac{\sigma^2t^2}{2}\Bigr)}
E[X]=\mu
V[X]=\sigma^2
- $X$,$Y$が独立に$N(\mu_1,\sigma_1^2)$,$N(\mu_2,\sigma_2^2)$に従うとき，$X+Y$は$N(\mu_1+\mu_2,\sigma_1^2+sigma_2^2)$に従う．（再生性）
- $X$が$N(\mu,\sigma)$に従うとき，$Y=aX+B$は$N(a\mu+b,a^2\sigma^2)$に従う．
- $Z=\frac{X-\mu}{\sigma}$は標準正規分布$N(0,1)$に従う．
- 累積分布関数
1-\Phi(z)=\int_z^\infty{\frac{1}{\sqrt{2\pi}}\exp{\Bigl(-\frac{x^2}{2}\Bigr)dx}}
Example
測定誤差，身長の測定
###指数分布(Exponential)
Definition
f_\lambda(x)=\begin{cases}
\lambda e^{-\lambda x} & (x \geq 0) \\
0 & (x \lt 0)
\end{cases}\\
(\lambda \gt 0)
Property
M_X(t)=\frac{\lambda}{\lambda-t}\\
(t\lt\lambda)
E[X]=\frac{1}{\lambda}
V[X]=\frac{1}{\lambda^2}
- 無記憶性を持つ
- 累積分布関数
F(x)=\begin{cases}
1-e^{-\lambda x} & (x \ge 0)\\
0 & (x \lt 0)
\end{cases}
Example
システムの寿命，災害までの年数，発生間隔
###ガンマ分布
Definition
f_{\lambda, \alpha}(x)=\frac{\lambda^\alpha}{F(\alpha)}x^{\alpha-1}e^{-\lambda x}\\
(x \ge0, \lambda, \alpha\gt 0)
Property
M_X(t)=\Bigl(\frac{\lambda}{\lambda-t}\Bigr)^k\\
(t \lt \lambda)
E[X]=\frac{k}{\lambda}
V[X]=\frac{k}{\lambda^2}
- 再生性を持つ
Example
体重の分布
###ベータ分布
Definition
f_{\alpha, \beta}(x)=\frac{1}{B(\alpha, \beta)}x^{\alpha-1}(1-x)^{\beta-1}\\
(0 \lt x \le 0, \alpha, \beta\gt 0)
Property
E[X]=\frac{\alpha}{\alpha+\beta}
V[X]=\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}
###連続一様分布
Definition
f(x)=\frac{1}{b-a}\\
(a \le x \le b)
Property
M_X(t)=\frac{e^{tb}-e^{ta}}{t(b-a)}\\
E[X]=\frac{a+b}{2}
V[X]=\frac{(b-a)^2}{12}
- 再生性を持つ
###カイ二乗分布
Definition
互いに独立な$n$個の確率変数$Z_1,Z_2,\cdots,Z_k$が標準正規分布$N(0,1)$に従うとき，確率変数
$X=(Z_1)^2+(Z_2)^2+⋯+(Z_k)^2$
が従う確率分布を自由度$k$の$χ^2$分布と呼ぶ．
Property
確率密度関数
c_k(x)=\begin{cases}
\frac{1}{2^{\frac{k}{2}}\Gamma\bigl(\frac{k}{2}\bigr)}x^{\frac{k}{2}-1}e^{-\frac{x}{2}} & (x \gt 0)\\
0 & (x \le 0)
\end{cases}
モーメント母関数
M_X(t)=(1-2\theta)^{-\frac{k}{2}}\\
(\theta \lt \frac{1}{2})
期待値
E[X]=k
分散
V[X]=2k
- 再生性をもつ
###（スチューデントの）t分布
Definition
2つの独立な変数$Y$と$Z$があり，$Y$は標準正規分布$N(0,1)$に，$Z$は自由度$k$の$χ^2$分布に従うとき，確率変数$X=\frac{Y}{\sqrt{\frac{Z}{k}}}$が従う確率分布を自由度$k$の$t$分布という．
Property
確率密度関数
t_k(x)=\frac{1}{\sqrt{n}B\bigl(\frac{n}{2},\frac{1}{2}\bigr)}(\frac{x^2}{n}+1)^{-\frac{n+1}{2}}
- 自由度$k$が$\infty$に近づくにつれて標準正規分布に近づく．
- 自由度$k=1$とすると標準コーシー分布となる．
###（フィッシャー・スネデガーの）F分布
Definition
2つの独立な変数$Y$と$Z$があり，$Y$は自由度$k_1$の，$Z$は自由度$k_2$の$χ^2$分布に従うとき，確率変数$X=\frac{\frac{Y}{k_1}}{\frac{Z}{k_2}}$が従う確率分布を自由度$(k_1,k_2)$の$F$分布という．
Property
確率密度関数
f_{k_1,k_2}(x)=\frac{k_1^{\frac{k_1}{2}}k_2^\frac{k_2}{2}}{B\bigl(\frac{k_1}{2},\frac{k_2}{2}\bigr)}\frac{x^{\frac{k_1}{2}-1}}{(k_1x+k_2)^{\frac{k_1+k_2}{2}}}
###コーシー分布(Cauchy)
Definition
f_{\alpha,x_0}(x)=\frac{\alpha}{\pi(\alpha^2+(x-x_0)^2)}\\
(\alpha \gt 0)
Property
- ﾓｰﾒﾝﾄ母関数，期待値，分散は定義されない
- $x_0$は$f(x)$の最頻値
- 標準コーシー分布
f(x)=\frac{1}{\pi(x^2+1)}
- 再生性を持つ
#不等式など
マルコフの不等式(Markov's inequality)
P \bigl(|X| \geq a \bigr) \leq \frac{E[|X|]}{a}\\
(a \gt 0)
チェビシェフの不等式(Chebyshev's inequality)
P \bigl(|X - \mu| \geq k\sigma \bigr)\leq \frac{1}{k^2}\\
(k \gt 0)
大数の弱法則(law of large numbers)
平均$μ$，分散$σ^2$の確率分布に互いに独立に従う確率変数$X_1 \cdots X_n$と任意の$\varepsilon \gt 0$に対して
P \bigl(|\bar{X}-\mu| \geq \varepsilon \bigr) \to 0\\
(n \to \infty)
中心極限定理(central limit theorem)
母集団が平均$μ$ 分散$σ^2$の確率分布に従うとき，母集団の従う確率分布がどのような分布であっても，抽出する標本数$n$が大きくなるにつれて，標本平均の分布は平均$μ$ 分散$\frac{σ^2}{n}$の正規分布$N(μ ,\frac{σ^2}{n})$に近づく．
P \biggl(\frac{(X_1 + \cdots + X_n)-n\mu}{\sqrt{n}\sigma} \leq \alpha \biggr) \to \int_{-\infty}^{\alpha}\frac{1}{\sqrt{2\pi}}e^{-\frac{-x^2}{2}dx}