はじめに
とりあえず、このページでは、E資格よく出る数学について、ざっくばらんに書いていこうと思います。
確率・統計
とりあえず、確率・統計のE資格によく出る項目をまとめた。
ベルヌーイ分布
確率 p で 1 を、確率 q = 1 − p で 0 をとる、離散確率分布のこと。
また、「コインを投げたときに表が出るか裏が出るか」のように、何かを行ったときに起こる結果が2つしかない試行のことを「ベルヌーイ試行」という。
二項分布
ベルヌーイ試行をn回行って、成功する回数が従う確率分布を「二項分布」という。
定義
n回のベルヌーイ試行を行うときにちょうどk回成功する確率、すなわちX-kとなる確率は次の式から計算することができる。
\begin{align}
P(X=k) &= {}_n C_{k} ・p^x (1-p)^{n-k}
\end{align}
例
コインを10回投げて表が3回出る確率は、表が出る確率がであることから、次のように計算できる。
https://bellcurve.jp/statistics/course/6979.html
多項分布
多項分布は、よく、出る目が歪なサイコロを振った時に、各目が何回出るかを表現する確率分布として例えられるらしい。
定義
ガウス分布（正規分布のこと）
もっとも代表的な分布の一つ。だいたいの事象は、正規分布に従うことが多い。
数式は以下のような感じ。
f(x) = \frac{1}{\sqrt{2\piσ^2}}exp[{-\frac{(x-μ)^2}{2σ^2}}] \\
ベイズの定理
定義
P(B|A)=\frac{P(A|B)P(B)}{P(A)}
解説
これは簡単に導出できる。
AとBの両方が起こる確率は、
P(A,B)=まずBが起こって、その後Aが起こる確率=P(B)P(A|B) ----①
一方、以下のようにも表現できる。
P(A,B)=まずAが起こって、その後Bが起こる確率=P(A)P(B|A) ----②
①、②より、ベイズの定理が導ける。
情報理論
共分散
共分散とは
2組のデータ同士の関係を示す数値のこと。
たとえば、データXとデータYがある場合、
「（データXの偏差）×（データYの偏差）」の平均というのが共分散として定義されているらしい。
式で表すと以下のような感じ。
E[(X−μ_X )(Y−μ_Y )]
2変数の積の平均値から平均値の積を引くことからも算出が可能。
式で表すと以下のような感じ。
E[XY]-μ_Xμ_Y
相互情報量
2つの確率変数の相互依存度を測る指標。
2つの確率変数が独立だったらゼロになるし、がっつり関係してたら1とかになる。
定義
{\begin{eqnarray}
I(X;Y) &=& \sum_{x,y} P(X = x,Y = y)log\frac{P(X = x,Y = y)}{P(X = x)P(Y = y)}
\end{eqnarray}}
KLダイバージェンス
Qだと思ってたらPだった時に得られる情報量（驚き具合）を数式に表したもの。
距離みたいな感じだけど、距離ではない(PとQを入れ替えると数値が変わるので)。
以下の式で定義される。
定義
{\begin{eqnarray}
D_{KL}(P||Q) &=& \sum_{x} P(X = x)log\frac{P(X = x)}{Q(X = x)}
\end{eqnarray}}
JSダイバージェンス
KLダイバージェンスはlogの中の分数の分母が0になっちゃう可能性があるので、それの対策案としてJSダイバージェンスというのがある。
以下の式で定義される。
定義
{\begin{eqnarray}
D_{JS}(P||Q) &=& \frac{1}{2}(D_{KL}(P||R) + D_{KL}(P||R))
\end{eqnarray}}
ただしRは、R(x) = ( P(x) + Q(x) ) / 2 で定義される確率分布とする。
参考文献