累積分布関数
累積分布関数は, 確率変数 $X$ がある値 $x$ 以下を取る確率として以下で表される.
$$
F(x) = P(X \leq x)
$$
$X$ が離散型確率変数であれば以下のように確率関数の和で表される.
$$
F(x) = \sum_{x^{'} \leq x} p(x^{'})
$$
$X$ が連続型確率変数であれば以下のように積分を用いて表される.
$$
F(x) = \int^{x}_{-\infty} f(x^{'}) dx^{'}
$$
また, 微分と積分の関係より $f(x) = F^{'}(x)$ である.
同時確率関数
同時確率関数
同時確率関数は, $X,Y$ を 2 つの離散型確率変数とするとき「 $X$ が値 $x$ をとり, $Y$ が値 $y$ をとる確率」として以下で表される.
$$
p(x,y) = P(X = x, Y = y)
$$
2変数の累積分布関数
2変数の累積分布関数は, 離散確率変数 $X$ がある値 $x$ 以下かつ 離散確率変数 $Y$ がある値 $y$ 以下とる確率として以下で表される.
$$
F(x,y) = P(X \leq x, Y \leq y) = \sum_{x^{'} \leq x, y^{'} \leq y} p(x^{'}, y^{'})
$$
周辺確率関数
同時確率関数 $p(x,y)$ から $X$ のみの確率関数 $p_X(x)$ を得るには, 以下のように, ある値 $x$ における $y$ の和をとればよい.
$$
p_X(x) = \sum_{y} p(x, y)
$$
このような $X$ の分布を周辺分布といい, $p_X(x)$ を周辺確率関数とよぶ.
条件付き確率関数
条件付き確率関数は, $X=x$ が与えられたときに $Y=y$ となる条件付き確率として以下で表される.
$$
p_{Y|X}(y|x) = \frac {p(x, y)} {p_X(x)}
$$
同時確率密度関数
同時確率関数
$X,Y$ を連続確率変数とし, $F(x,y) = P(X \leq x, Y \leq y)$ を累積分布関数とする. $X,Y$ の同時確率密度関数 $f(x,y)$ は $F(x,y)$ を $x$ と $y$ でそれぞれ偏微分して以下で表される.
$$
f(x,y) = \frac {\partial^2} {\partial x \partial y} F(x,y)
$$
2変数の累積分布関数
離散確率変数 $X$ がある値 $x$ 以下かつ 離散確率変数 $Y$ がある値 $y$ 以下とる確率として以下で表される.
$$
F(x,y) = P(X \leq x, Y \leq y) = \int_{-\infty}^{x} \int_{-\infty}^{y} f(x^{'}, y^{'}) dy^{'} dx^{'}
$$
周辺確率関数
$X$ の周辺確率密度関数は, ある値 $x$ において $y$ で積分すればよい.
$$
f_X(x) = \int_{-\infty}^{\infty} f(x, y) dy
$$
条件付き確率関数
$X = x$ が与えられたときに $Y = y$ として以下で表される.
$$
f_{Y|X}(y|x) = \frac {f(x, y)} {f_X(x)}
$$
母関数
確率母関数
$X$ の確率関数を $p(x)$ とし, $s$ を任意の実数とするとき, $X$ の確率母関数は以下で表される. なお, 確率母関数は整数値を取る確率変数に主に用いられる.
$$
G(s) = E[s^X] = \sum_{x} s^x p(x)
$$
$X$ の期待値と分散は確率母関数を用いて以下のように表される.
\begin{align}
E[X] &= G^{'}(1) \\
V[X] &= G^{''}(1) + G^{'}(1) - (G^{'}(1))^2
\end{align}
モーメント母関数
モーメント母関数 $m(\theta)$は, 確率母関数において $s = e^{\theta}$ と置いたものであり, 以下で表される. モーメント母関数は連続確率変数の場合に用いられることが多い.
$$
m(\theta) = E[e^{\theta X}] = \sum_{x} e^{\theta x} p(x)
$$
$X$ の期待値と分散はモーtメント母関数を用いて以下のように表される.
\begin{align}
E[X] &= m^{'}(0) \\
V[X] &= m^{''}(0) - (m^{'}(0))^2
\end{align}
母関数の性質
(1) 確率分布との 1 対 1 対応
(2) 独立な変数の和が母関数の積に対応
(1)から, 確率分布が異なればモーメント母関数も異なる. この性質により, たとえば確率変数 $X$ のモーメント母関数が正規分布のモーメント母関数に等しければ, $X$ の分布は正規分布であると分かる.
(2)から, $X_1, X_2$ を独立な確率変数とし, モーメント母関数をそれぞれ $m_1(\theta), m_2(\theta)$ とすれば, $X_1+X_2$ のモーメント母関数 $m(\theta)$ は,
$$
m(\theta) = E[e^{\theta(X_1+X_2)}] = E[e^{\theta X_1} e^{\theta X_2}] = E[e^{\theta X_1}]E[e^{\theta X_2}] = m_1(\theta)m_2(\theta)
$$
となる. このように, 独立な変数の和が母関数の積に対応する.
特に, $X_1,...,X_n$ を独立で同一な分布に従う確率変数とし, $m(\theta)$ を共通のモーメント母関数とすると, $X_1+...+X_n$ のモーメント母関数 $m_n(\theta)$ は
$$
m_n(\theta) = m(\theta)^n
$$
とべき乗の形で得られる.