確率
頻度確率（客観確率）
発生する頻度．
例：10本のうち1本だけ当たりのクジの当選確率は10%．
1回引く当たり0.1回当たっているという考え．
実験的に確かめられる．
ベイズ確率（主観確率）
信念の度合い．
例：あなたは40%の確率でインフルエンザですという確率．
あなたは一人しかいないので，実験的に確かめられない．
条件付き確率
ある事象$X=x$が与えられた下で，$Y=y$となる確率．
$$P(Y=y|X=x) = \frac{P(Y=y,X=x)}{P(X=x)}$$
独立な事象の同時確率
お互いに因果関係のない事象$X=x$と事象$Y=y$が同時に発生する確率．
$$P(X=x,Y=y)=P(X=x)P(Y=y)=P(Y=y,X=x)$$
ベイズ則
事象$X=x$と事象$Y=y$に対して，
$$P(X=x|Y=y)P(Y=y)=P(Y=y|X=x)P(X=x)$$
確率変数と確率分布
確率変数
- 事象と結び付けられた数値．
- 事象そのものを指すと解釈する場合も多い．
確率分布
- 事象の発生する確率の分布．
- 離散値であれば表に示せる．
期待値
その分布における確率変数の，平均の値 or 「ありえそう」な値．
事象$x$に対して，確率変数を$f(x)$，確率を$P(x)$とすると，
期待値は，$E(f)$は，
- 確率変数が離散値の場合， $$E(f) = \sum_{k=1}^n P(X=x_k)f(X=x_k)$$
- 確率変数が連続する値の場合， $$E(f) = \int P(X=x_k)f(X=x_k)dx$$
分散と共分散
分散
データの散らばり具合を表す．データの各々の値が，期待値からどれだけずれているのかを平均したもの．言い換えると，どれだけ期待通りになるかを表す．
分散$Var(f)$は，
\begin{align}
Var(f)&=E\Bigl(\bigl(f(X=x)-E(f)\bigr)^2\Bigr)\\
&=E\bigl(f^2(X=x)\bigr)-\bigl(E(f)\bigr)^2
\end{align}
絶対値を取ると面倒なので，２乗をとっている．分散の単位が元のデータの２乗になってしまうので，平方根を取る：偏差．
式変形は，期待値の線形性による．
共分散
２つのデータ系列の傾向の違いを表す．（正確に相関を表すわけではないが，傾向はつかめる．円のように点対称のデータではきれいな相関があるがゼロになる．）
- 正の値を取れば似た傾向．
- 負の値を取れば逆の傾向．
- ゼロを取れば関係性に乏しい．
共分散$Cov(f)$は，
\begin{align}
Cov(f,g)&=E\Bigl(\bigl(f(X=x)-E(f)\bigr)\bigl(g(Y=x)-E(g)\bigr)\Bigr)\\
&=E\bigl(fg\bigr)-E(f)E(g)
\end{align}
$f$と$g$のスケールを合わせるために，$Cov$を$f$，$g$のそれぞれの標準偏差の積で割る．その値を相関係数という．
様々な確率分布
ベルヌーイ分布
２種類のみの結果しか得られない試行の結果を0,1で表した分布．$\mu$は1の確率．
$$f(x) = x$$$$P(x|\mu)=\mu^x(1-\mu)^{1-x}$$すべての試行はベルヌーイ分布で表せる．
AとA以外，A以外=BとB以外，B以外=CとC以外，$\cdots$．
カテゴリカル分布（マルチヌーイ分布）
複数種の結果が得られる場合．$n$種類の結果が得られるとすると，
$$P(X=x)=\sum_{k=1}^n\lambda_k^{[x=k]}$$ただし，
[x＝k] = \left\{
\begin{array}{ll}
1 & (x=k) \\
0 & (x \neq k)
\end{array}
\right.
二項分布
ベルヌーイ分布の多試行版．
$n$回試行して$x$回，確率$\lambda$の事象が起こる確率は
\begin{align}
P(x|\lambda,n)&=\frac{n!}{x!(n-x)!}\lambda ^x(1-\lambda )^{n-x} \\\\
&={}_xC_r \lambda ^x(1-\lambda )^{n-x}
\end{align}
ガウス分布
釣鐘型の連続分布
$$\mathscr{N}(x;\mu,\sigma^2)=\sqrt{\frac{1}{2\pi\sigma ^2}}\exp{\Bigl(-\frac{1}{2\sigma ^2}(x-\mu)^2}\Bigr)$$確率分布なので，全体で$1$となる．そのように係数が決められている．
