累積分布関数

累積分布関数は, 確率変数 $X$ がある値 $x$ 以下を取る確率として以下で表される.

$$
F(x) = P(X \leq x)
$$

$X$ が離散型確率変数であれば以下のように確率関数の和で表される.

$$
F(x) = \sum_{x^{'} \leq x} p(x^{'})
$$

$X$ が連続型確率変数であれば以下のように積分を用いて表される.

$$
F(x) = \int^{x}_{-\infty} f(x^{'}) dx^{'}
$$

また, 微分と積分の関係より $f(x) = F^{'}(x)$ である.

同時確率関数

同時確率関数

同時確率関数は, $X,Y$ を 2 つの離散型確率変数とするとき「 $X$ が値 $x$ をとり, $Y$ が値 $y$ をとる確率」として以下で表される.

$$
p(x,y) = P(X = x, Y = y)
$$

2変数の累積分布関数

2変数の累積分布関数は, 離散確率変数 $X$ がある値 $x$ 以下かつ離散確率変数 $Y$ がある値 $y$ 以下とる確率として以下で表される.

$$
F(x,y) = P(X \leq x, Y \leq y) = \sum_{x^{'} \leq x, y^{'} \leq y} p(x^{'}, y^{'})
$$

周辺確率関数

同時確率関数 $p(x,y)$ から $X$ のみの確率関数 $p_X(x)$ を得るには, 以下のように, ある値 $x$ における $y$ の和をとればよい.

$$
p_X(x) = \sum_{y} p(x, y)
$$

このような $X$ の分布を周辺分布といい, $p_X(x)$ を周辺確率関数とよぶ.

条件付き確率関数

条件付き確率関数は, $X=x$ が与えられたときに $Y=y$ となる条件付き確率として以下で表される.

$$
p_{Y|X}(y|x) = \frac {p(x, y)} {p_X(x)}
$$

同時確率密度関数

同時確率関数

$X,Y$ を連続確率変数とし, $F(x,y) = P(X \leq x, Y \leq y)$ を累積分布関数とする. $X,Y$ の同時確率密度関数 $f(x,y)$ は $F(x,y)$ を $x$ と $y$ でそれぞれ偏微分して以下で表される.

$$
f(x,y) = \frac {\partial^2} {\partial x \partial y} F(x,y)
$$

2変数の累積分布関数

離散確率変数 $X$ がある値 $x$ 以下かつ離散確率変数 $Y$ がある値 $y$ 以下とる確率として以下で表される.

$$
F(x,y) = P(X \leq x, Y \leq y) = \int_{-\infty}^{x} \int_{-\infty}^{y} f(x^{'}, y^{'}) dy^{'} dx^{'}
$$

周辺確率関数

$X$ の周辺確率密度関数は, ある値 $x$ において $y$ で積分すればよい.

$$
f_X(x) = \int_{-\infty}^{\infty} f(x, y) dy
$$

条件付き確率関数

$X = x$ が与えられたときに $Y = y$ として以下で表される.

$$
f_{Y|X}(y|x) = \frac {f(x, y)} {f_X(x)}
$$

母関数

確率母関数

$X$ の確率関数を $p(x)$ とし, $s$ を任意の実数とするとき, $X$ の確率母関数は以下で表される. なお, 確率母関数は整数値を取る確率変数に主に用いられる.

$$
G(s) = E[s^X] = \sum_{x} s^x p(x)
$$

$X$ の期待値と分散は確率母関数を用いて以下のように表される.

\begin{align}
E[X] &= G^{'}(1) \\
V[X] &= G^{''}(1) + G^{'}(1) - (G^{'}(1))^2
\end{align}

モーメント母関数

モーメント母関数 $m(\theta)$は, 確率母関数において $s = e^{\theta}$ と置いたものであり, 以下で表される. モーメント母関数は連続確率変数の場合に用いられることが多い.

$$
m(\theta) = E[e^{\theta X}] = \sum_{x} e^{\theta x} p(x)
$$

$X$ の期待値と分散はモーtメント母関数を用いて以下のように表される.

\begin{align}
E[X] &= m^{'}(0) \\
V[X] &= m^{''}(0) - (m^{'}(0))^2
\end{align}

母関数の性質

(1) 確率分布との 1 対 1 対応
(2) 独立な変数の和が母関数の積に対応

(1)から, 確率分布が異なればモーメント母関数も異なる. この性質により, たとえば確率変数 $X$ のモーメント母関数が正規分布のモーメント母関数に等しければ, $X$ の分布は正規分布であると分かる.

(2)から, $X_1, X_2$ を独立な確率変数とし, モーメント母関数をそれぞれ $m_1(\theta), m_2(\theta)$ とすれば, $X_1+X_2$ のモーメント母関数 $m(\theta)$ は,

$$
m(\theta) = E[e^{\theta(X_1+X_2)}] = E[e^{\theta X_1} e^{\theta X_2}] = E[e^{\theta X_1}]E[e^{\theta X_2}] = m_1(\theta)m_2(\theta)
$$

となる. このように, 独立な変数の和が母関数の積に対応する.

特に, $X_1,...,X_n$ を独立で同一な分布に従う確率変数とし, $m(\theta)$ を共通のモーメント母関数とすると, $X_1+...+X_n$ のモーメント母関数 $m_n(\theta)$ は

$$
m_n(\theta) = m(\theta)^n
$$

とべき乗の形で得られる.