はじめに
JDLA E資格試験で出題される確率分布について解説した記事です。
E資格試験の応用数学パートでは、確率分布の定義式が問われることに加えて、最尤法などに発展させて出題されます。
また、確率分布は機械学習・深層学習全般において使用されるため、本稿の内容を理解しておくのは必須です。
なお、他パートの具体的な解説については、下記をご覧ください。
目次
数学表記
$\mathbb{R}$は実数集合です。
確率の諸定義については、下記をご覧ください。
期待値・分散
確率分布
確率分布とは、ある標本空間$\Omega$をとる確率変数$X$に対して、それぞれの値をとる確率$P(X)$を対応させた関数のことです。
連続型確率変数の場合、その確率分布を確率密度関数、離散型確率変数の場合、その確率分布を確率質量関数と呼びます。
連続型確率分布
確率密度関数の定義
連続型確率変数$X$は標本空間$\Omega \subseteq \mathbb{R}$をとることとします。
その確率密度関数は式(1)を満たす$f_{X}(x)$です。
また、$f_{X}(x)$は式(2)を満たします。
\begin{align}
&\int_{A}f_{X}(x)\,dx=P(X\in A), A \subseteq \Omega
\tag{1}\\
&\int_{\Omega}f_{X}(x)\,dx=1
\tag{2}
\end{align}
ただし、$A$は$\Omega$に含まれるある区間を指します。
連続型確率分布の例
E資格で出題される連続型確率分布は、正規分布（ガウス分布）です。
正規分布の確率密度関数$f_{X}(x)$は式(3)で表されます。
f_{X}(x; \mu ,\sigma^2)=\frac{1}{\sqrt {2\pi \sigma^2}}\exp{\biggl (}-{\frac {(x-\mu)^2}{2\sigma^{2} }}{\biggr )}
\tag{3}
ただし、$\mu$は平均パラメータで、$\sigma^2$は分散パラメータです。
正規分布に従う$X$の期待値は$\mathbb{E}[X]=\mu$、分散は$\mathbb{V}[X]=\sigma^2$です。
離散型確率分布
確率質量関数の定義
離散型確率変数$X$は標本空間$\Omega=\{x_1,x_2,\cdots,x_k\}$（$x_i\in \mathbb{R}$）をとることとします。
その確率質量関数$f_{X}(x)$は式(4)を表され、式(5)を満たします。
\begin{align}
&f_{X}(x_i)=P(X=x_i), x_i \in \Omega
\tag{4}\\
&\sum_{i=1}^{k}f_{X}(x_i)=1
\tag{5}
\end{align}
離散型確率分布の例
E資格で出題される離散型確率分布は、ベルヌーイ分布とマルチヌーイ分布（カテゴリカル分布）です。
ベルヌーイ分布
標本空間$\Omega=\{x_1,x_2\}$のように、事象が2種類である試行（2値の結果が得られる試行）をベルヌーイ試行と呼びます。
ベルヌーイ分布は確率変数$X$がベルヌーイ試行に従うときの確率分布です。
ベルヌーイ分布の確率質量関数$f_{X}(x)$は式(6)で表されます。
f_{X}(x; p)=p^{x}(1-p)^{1-x}
\tag{6}
ただし、標本空間$\Omega=\{0,1\}$、$p$は確率パラメータであり、式(7)の関係で与えられます。
\left\{
\begin{array}{ll}
f_{X}(0)=1-p \\
f_{X}(1)=p
\end{array}
\right.
\tag{7}
ベルヌーイ分布に従う$X$の期待値は$\mathbb{E}[X]=p$、分散は$\mathbb{V}[X]=p(1-p)$です。
なお、この導出は割愛しますが、下記の期待値と分散の定義に当てはめると導出できます。
期待値・分散
マルチヌーイ分布
標本空間$\Omega=\{x_1,x_2,\cdots,x_k\}$のように、事象が$k$種類である試行（多値の結果が得られる試行）をマルチヌーイ試行と、便宜上呼ぶことにします。
マルチヌーイ分布（カテゴリカル分布）は確率変数$X$がマルチヌーイ試行に従うときの確率分布です。
マルチヌーイ分布の確率質量関数$f_{X}(\boldsymbol{x})$は式(8)で表されます。
f_{X}(\boldsymbol{x}; \boldsymbol{p})=\prod_{j
=1}^{k} p_{j}^{x_j}
\tag{8}
ただし、$\boldsymbol{x}=(x_1,x_2,\cdots,x_k)^{\mathrm{T}}$はone-hotベクトルです。
one-hotベクトルとは、一つだけの要素が$1$、それ以外の要素は$0$であるベクトルなので、式(9)を満たします。
\sum_{j=1}^{k}x_j=1, x_j\in \left\{0,1 \right\}
\tag{9}
また、$\boldsymbol{p}=(p_1,p_2,\cdots,p_k)^{\mathrm{T}}$は確率パラメータであり、式(10)の関係で与えられます。
\left\{
\begin{array}{ll}
f_{X}(x_j)=p_j \\
\sum_{j=1}^{k}p_j=1, p_j\in [0,1]
\end{array}
\right.
\tag{10}
マルチヌーイ分布において、$k=2$とすると、ベルヌーイ分布に一致します。
マルチヌーイ分布に従う$X$の期待値は$\mathbb{E}[X=x_j]=p_j$、分散は$\mathbb{V}[X=x_j]=p_j(1-p_j)$です。
なお、この導出は割愛しますが、下記の期待値と分散の定義に当てはめると導出できます。
期待値・分散
おわりに
E資格向けの確率分布について解説しました。
なお、上記は、2021年2月時点における内容であることにご注意ください。