確率

頻度確率（客観確率）

発生する頻度．
例：10本のうち1本だけ当たりのクジの当選確率は10%．
　　1回引く当たり0.1回当たっているという考え．
　　実験的に確かめられる．

ベイズ確率（主観確率）

信念の度合い．
例：あなたは40%の確率でインフルエンザですという確率．
　　あなたは一人しかいないので，実験的に確かめられない．

条件付き確率

ある事象$X=x$が与えられた下で，$Y=y$となる確率．
$$P(Y=y|X=x) = \frac{P(Y=y,X=x)}{P(X=x)}$$

独立な事象の同時確率

お互いに因果関係のない事象$X=x$と事象$Y=y$が同時に発生する確率．
$$P(X=x,Y=y)=P(X=x)P(Y=y)=P(Y=y,X=x)$$

ベイズ則

事象$X=x$と事象$Y=y$に対して，
$$P(X=x|Y=y)P(Y=y)=P(Y=y|X=x)P(X=x)$$

確率変数と確率分布

確率変数

事象と結び付けられた数値．
事象そのものを指すと解釈する場合も多い．

確率分布

事象の発生する確率の分布．
離散値であれば表に示せる．

期待値

その分布における確率変数の，平均の値 or 「ありえそう」な値．
事象$x$に対して，確率変数を$f(x)$，確率を$P(x)$とすると，
期待値は，$E(f)$は，

確率変数が離散値の場合，
$$E(f) = \sum_{k=1}^n P(X=x_k)f(X=x_k)$$
確率変数が連続する値の場合，
$$E(f) = \int P(X=x_k)f(X=x_k)dx$$

分散と共分散

分散

データの散らばり具合を表す．データの各々の値が，期待値からどれだけずれているのかを平均したもの．言い換えると，どれだけ期待通りになるかを表す．
分散$Var(f)$は，

\begin{align}
Var(f)&=E\Bigl(\bigl(f(X=x)-E(f)\bigr)^2\Bigr)\\
&=E\bigl(f^2(X=x)\bigr)-\bigl(E(f)\bigr)^2
\end{align}

絶対値を取ると面倒なので，２乗をとっている．分散の単位が元のデータの２乗になってしまうので，平方根を取る：偏差．

式変形は，期待値の線形性による．

共分散

２つのデータ系列の傾向の違いを表す．（正確に相関を表すわけではないが，傾向はつかめる．円のように点対称のデータではきれいな相関があるがゼロになる．）

正の値を取れば似た傾向．
負の値を取れば逆の傾向．
ゼロを取れば関係性に乏しい．
共分散$Cov(f)$は，

\begin{align}
Cov(f,g)&=E\Bigl(\bigl(f(X=x)-E(f)\bigr)\bigl(g(Y=x)-E(g)\bigr)\Bigr)\\
&=E\bigl(fg\bigr)-E(f)E(g)
\end{align}

$f$と$g$のスケールを合わせるために，$Cov$を$f$，$g$のそれぞれの標準偏差の積で割る．その値を相関係数という．

様々な確率分布

ベルヌーイ分布

２種類のみの結果しか得られない試行の結果を0,1で表した分布．$\mu$は1の確率．
$$f(x) = x$$$$P(x|\mu)=\mu^x(1-\mu)^{1-x}$$すべての試行はベルヌーイ分布で表せる．
AとA以外，A以外=BとB以外，B以外=CとC以外，$\cdots$．

カテゴリカル分布（マルチヌーイ分布）

複数種の結果が得られる場合．$n$種類の結果が得られるとすると，

$$P(X=x)=\sum_{k=1}^n\lambda_k^{[x=k]}$$ただし，

[x＝k] = \left\{
\begin{array}{ll}
1 & (x=k) \\
0 & (x \neq k)
\end{array}
\right.

二項分布

ベルヌーイ分布の多試行版．
$n$回試行して$x$回，確率$\lambda$の事象が起こる確率は

\begin{align}
P(x|\lambda,n)&=\frac{n!}{x!(n-x)!}\lambda ^x(1-\lambda )^{n-x} \\\\
&={}_xC_r \lambda ^x(1-\lambda )^{n-x}
\end{align}

ガウス分布

釣鐘型の連続分布
$$\mathscr{N}(x;\mu,\sigma^2)=\sqrt{\frac{1}{2\pi\sigma ^2}}\exp{\Bigl(-\frac{1}{2\sigma ^2}(x-\mu)^2}\Bigr)$$確率分布なので，全体で$1$となる．そのように係数が決められている．

DeepLearning ラビットチャレンジ