ラビットチャレンジ Stage1 応用数学 統計学2 レポート

#1.記述統計と推測統計

記述統計

　・集団の性質を要約し記述する。 　　

推測統計

　・集団から一部を取り出し元の集団（母集団）の性質を推測する。 　 #2.確率変数と確率分布

確率変数

　・事象と結び付けられた数値 　・事象そのものを指すと解釈する場合も多い 　

確率分布

　・事象の発生する確率の分布 　・離散値であれば表に示せる。

#3.期待値

期待値

　・その分布における確率変数の・・・ 　　　　平均の値 or 「ありえそう」な値

事象X	x1	x2	・・・	xn
確率変数f(x)	f(x1)	f(x2)	・・・	f(xn)
確率P(x）	P(x1)	P(x2)	・・・	P(xn)

　・公式
　　　期待値 $ E(f) $
$$ E(f) = \sum_{k=1}^n P(X = x_k)f(X = x_k) $$

　　　連続する値の場合
$$ \int P(X = x) f(X = x) dx $$

#4.分散と共分散
　

分散

　　・データの散らばり具合
　　・データの各々の値が、期待値からどれだけズレているのか平均したもの
　公式
　　分散 $Var(f)$

\begin{align}
Var(f) &= E\big((\, f_{(X=x)} - E_{(f)}\,)^2 \big) \\
&= E(\,f^2_{(X=x)}\,) - (E_{(f)})^2
\end{align}

共分散

　　・２つのデータ系列の傾向の違い 　　・正の値をとれば似た傾向 　　・負の値を取れば逆の傾向 　　・ゼロを取れば関係性に乏しい 　　公式 $Cov(f,g)$

 \begin{align}
　　Cov(f,g) &= E\Big(\big(\, f_{(X=x)} - E_{(f)}\big) \big(g_{(Y=y)} - E(g)\,\big)\, \Big) \\
　　&=E(fg) - E(f)E(g)
 \end{align}

分散と標準偏差

　　分散は2乗してしまっているので、元のデータと単位が違う。 　　そのため、2乗することの逆演算（平方根を求める）をすれば元の単位に戻る。 　 　　・公式

\begin{align}
 \sigma &= \sqrt {Var(f)} \\
        &= \sqrt {E \big( \, (\, f_{(X=x)} - E_{(f)} \,) \, ^2  \big)}
\end{align}

#5.様々な確率分布

ベルヌーイ分布

　　・コイントスのイメージ 　　・裏と表で出る割合が等しくなくとも扱える

$$ P(x , | , \mu) = \mu^x , (1 - \mu)^{1-x} $$

マルチヌーイ（カテゴリカル）分布

　　・サイコロを転がすイメージ 　　・各面の出る割合が等しくなくとも扱える 　

二項分布

・ベルヌーイ分布の多試行版

$$ P(x | \lambda ,n) = \frac{n!}{x!(n-x)!} \lambda^x(1-\lambda)^{n-x} $$

ガウス分布

　　　・釣鐘型の連続分布

 N(x;\mu,\sigma^2) 
 = \sqrt{\frac{1}{2 \pi \sigma^2}} \exp \big(-\frac{1}{2 \sigma^2}(x-\mu)^2 \big)

　

#6.推定

推定とは

　　母集団を特徴づける母数（パラメーター：平均など）を統計学的に推測すること。 　

種類

　　・点推定：平均値などを１つの値に推定すること。 　　・区間推定：平均値などが存在する範囲（区間）を推定すること。 　

推定量と推定値

　　・推定量(estimator):パラメータを推定するために利用する 　　　　　　　　　　　数値の計算方法や計算式のこと。推定関数とも呼ぶ。 　 　　・推定値(estimate):実際に思考を行った結果から計算した値 　 　　　真の値を$\theta$とすると・・・ $\hat{\theta}$ のように表す 　

標本平均

　　　母集団から取り出した標本の平均値 　 　　　サンプル数が大きくなれば、母集団の値に近づく ⇨ **一致性** 　 　　　サンプル数がいくらであっても、その期待値は母集団の値と同様　⇨ **不編性** 　　　$ E(\hat{\theta}) = \theta $ 　　

標本分散

　　　サンプルサイズをnとすると・・・

  \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^2

　　　一致性は満たすが・・・
　　　不偏性は満たさない
　　　　　　↓
　　　不偏分散を使用する

 \begin{align}
  S^2 &= \frac{n}{n-1} × \frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^2 \\
  &= \frac{1}{n-1} \sum_{i=1}^n (x_i - \bar{x})^2
 \end{align}

#7.情報科学

自己情報量

　　・対数の底が2の時、単位はビット（bit) 　　・対数の底がネイピアのeの時、単位は(nat)

$$ I(x) = - \log \big( P(x) \big) = \log \big(W(x) \big) $$

シャノンエントロピー

　　・自己情報量の期待値

 \begin{align}
 H(x) &= E \big( I(x) \big)  \\
 &= -E \Big( \log \big( P(x) \big)  \Big) \\
 &= - \sum \Big( P(x) \log \big( P(x) \big) \Big)
 \end{align}

　

カルバック・ライブラー　ダイバージェンス

　　・同じ事象・確率変数における異なる確率分布P,Qの違いを表す。

 \begin{align}
  D_{KL}(P||Q) &=\sum_x P(x) \Big( - \log \big( Q(x) \big) \Big) - \Big( - \log \big( P(x) \big) \Big)\\
  &=\sum_x P(x) \log \frac{P(x)}{Q(x)}
 \end{align}

交差エントロピー

　　・KLダイバージェンスの一部分を取り出したもの 　　・Qについての自己情報量をPの分布で平均している

  \begin{align}
    H(P,Q) = H(P) + D_{KL}(P||Q)
    H(P,Q) = -\sum P(x) \log Q(x)
  \end{align}