統計数理
独立
・独立な例：A:コインを投げて表の確率、B:さいころを投げて偶数の確率
・独立でない例：袋に1, 2, 3と書かれた玉がある。A→Bの順で球を引く（球は戻さない）。A：Aが偶数を引く確率。B：Bが偶数を引く確率。
A\perp Bなら
\\\
P(A\cap B)=P(A)P(B)
\\\
又、A\perp \overline{B}
\\\
\\\
A\perp B\perp Cなら
\\\
P(A\cap B\cap C)=P(A)P(B)P(C)
統計数理メモ
二変数の包含関係①
P(A\cap B)=P(B)-P(B\cap \overline{A})
二変数の包含関係②
max\{0, P(A) + P(B) - 1\} \leq P(A\cap B) \leq min\{P(A), P(B)\}
A=Bの時が一番でかい。AとBで全部覆えないなら、限界まで離せば0。覆えてしまうなら、限界まで引き離して残ったところが重なってるところ。
二変数の累積確率分布
f(x) = \int_{-\infty}^{\infty}f(x, y)dy \\
F(x) = \int_{-\infty}^{x}f(x')dx' \\
F(x, y) = \int_{-\infty}^{x}\int_{-\infty}^{y}f(x', y')dy'dx' \\
F(x) = F(x, y=\infty) = \int_{-\infty}^{x}\int_{-\infty}^{\infty}f(x', y')dy'dx' \\
累積確率分布の周辺化は、周辺化したい方の変数をmaxにする。
共分散
Cov(X, Y) = \int \int (X -E(X))(Y -E(X))f(X, Y)dxdy \\
= E((X-E(X))(Y-E(Y)) \\
分散
V(X) = E((X-E(X))^2)\\
= E(X^2) - E(X)^2 \\
V(X+Y) = V(X) + V(Y) + 2Cov(X, Y)
相関係数
R(X, Y) = \frac{Cov(X, Y)}{\sqrt{V(X)V(Y)}}
ポアソン分布
ある時間の中で平均$\lambda$回発生する事象が、同様の時間のなかで$k$回発生する確率。
電話が平均10分で5回なる場合、10分でk回なる確率は$\lambda=5$のポアソン分布
P(X=k)=\frac{\lambda^ke^k}{k!}
期待値は$\lambda$。普通に考えて、平均で$\lambda$回起きるんだから、そうなる。
E[X]=\lambda
$e^x=\Sigma_{n=0}^{\infty}\frac{x^n}{n!}$を使う。
分散も$\lambda$
ガンマ分布
所与の時間（例$\lambda$年）の間に1回起きることが、実際におきるまでにかかる時間。
条件付き期待値
E[X|Y=y] \\
= \int_x x P(X|Y=y) \\
=\int_x x \frac{P(X, Y=y)}{P(Y=y)}
又、
E_X[X] =E_Y[E_X[X|Y]]
つまり、Xの期待値はY=yの時のXの期待値をyの式で表し、y=E[Y]にしたもの、ということ。
条件付き分散
V[X|Y=y] = E[X^2|Y=y] - E[X|Y]^2
又、
V_X[X]=E_Y[V[X|Y]]+V_Y[E[X|Y]]
つまり、Xの分散はXの分散をyで表したときに、yに期待値を入れたもの足す、Xの期待値をyで表したもののyの分散になる。()
モーメント法
原点周りのn次のモーメントは以下になる。
\mu_n=\int x^nP(X=x|\theta)dx \\
n=1, 2, 3, ...
つまり原点周りの1次のモーメント($\mu_1$)は期待値である。また、期待値周りのn次のモーメントは以下になる
\mu'_n=\int (x-\mu_1)^nP(X=x|\theta)dx \\
n=1, 2, 3, ...
つまり期待値周りの2次のモーメント($\mu'_2$)は分散である。