数学拒否系プログラマのための確率統計の基礎(1)

概要・想定する読み手

昨今はずいぶんと文系プログラマが増えてきたように思えます。
センター数ⅠＡが６点だった私がエンジニア顔できるのですから、いい時代になったものです。

とはいえ、最近はそんな数学拒否系プログラマも飽和してきたので、数学を再勉強することにしました。
分野は確率統計です。データサイエンティストを目指します。
基本的に自分用のメモとして書きますが、同類の方から見てもわかるよう、がんばって綺麗にまとめます。

標本空間(Ω/sample space)

• 試行の結果起こることの全体
  • 1枚のコイン投げ：$Ω={表,裏}$
  • 1回サイコロを振る：$Ω={1, 2, 3 ,4 , 5, 6}$

事象(event)

• 標本空間Ωの部分集合

• 各事象には確率が定義されるはず

  • ならば、どうやって確率を定義するかという問題
    • サイコロの目は、1/6である
    • 確率の定義は、各事象の和が1となる正の実数
  • 例．正四面体ダイスを考える。$Ω={1,2,3,4}$
    • 事象全体の集合（べき集合）は$2^4=16$通り
      • $Φ={ {1}, {2}, {3}, {4}, {1,2}, {2,3}, ... , {1,2,3,4} }$
  • 1が出る確率$P({1})$と、1または2が出る確率$P({1,2})$を考える
    • どっちが確率が高いか？無論、1または2が出るほうだ
      • $P({1}) \leq P({1,2})$
    • 一般に、二つの事象$A, B$に対して、
      • $A \subset B \Rightarrow P({A}) < P({A}) $
    • また、$P({1}) + P{2} = P({1,2})$であり、一般化すると、
      • $A \cap B = Φ$に対して、$P({A}) + P{B} = P({A,B})$
  • 一般的に考える
    • べき集合の一般的な公式
      1. 冪集合の数について：$Φ=2^{|Ω|}$
      2. 補集合も冪集合内に含まれていることについて：$A \subset Ω \Rightarrow \bar{A} \subset B$
      3. 和集合について：$A \cap B = Φ$に対して、$P({A}) + P{B} = P({A,B})$
    • 上記の一般的な公式を拡げると、完全加法族（冪集合の拡張概念）
      1. $P(A) \geq 0 $ for all $ A \subset \bf{A}$($\bf{A}$は完全加法族)
      2. $P(Ω) = 1$
      3. $A_1, A_2, ..., $が排反なら、$P( \bigcup_{i=1}^{∞}A_i ) = \sum_{i=1}^{∞}P(A_i)$

• 上の公式から$P(\bar{A}) \Rightarrow 1 - P(A)$を示す

  • 証明
    1. $A \subset \bf{A} \Rightarrow \bar{A} \subset \bf{A}$
    2. $A \cup \bar{A} = Ω, A \cap \bar{A} = Φ$
    3. $P(A \cup \bar{A}) = P(Ω) = 1$
    4. $P(A \cup \bar{A}) = P(A) + P(\bar{A})$
    5. 3・4より、$P(\bar{A}) \Rightarrow 1 - P(A)$
       • 証明終了

事象の独立性・条件付き確率

• 積の公式
  • $P(B|A) = \frac{P(A \cap B)}{P(A)}$
    • すなわち、$P(A)P(B|A) = P(A \cap B)$
• 全確率の公式
  • $P(A) = P(B)P(A|B) + P(\bar{B})P(A|\bar{B})$
  • 例．箱の中に赤玉が3個、白玉が2個ある。無作為に玉を1つ取り出した時に、2回目に取り出した玉が赤である確率は？（玉は戻さない）
    1. 2回目に赤が出る事象を$A$、1回めに赤が出る事象を$B$とすると、以下のことが自明
       • $P(B) = \frac{3}{5}$
       • $P(\bar{B}) = \frac{2}{5}$
       • $P(A|B) = \frac{2}{4}$
       • $P(A|\bar{B}) = \frac{3}{4}$
    2. よって、全確率の公式を用い、
       • $P(A) = P(B)P(A|B) + P(\bar{B})P(A|\bar{B}) = \frac{3}{5} \frac{2}{4} + \frac{2}{5} \frac{3}{4} = \frac{3}{5}$

ベイズの公式

• $P(B|A) = \frac{P(B)P(A|B)}{P(A)}$
  • 同時確率(積の公式)は事象を入れ替えても同じ
    • $P(A \cap B) = P(B \cap A)$
  • $P(A \cap B) = P(A)P(B|A) = P(B)P(A|B)$
    • ここからベイズの定理を導ける
• 例題
  • 設問
    • インフルエンザにかかった人の99%は、検査結果が陽性である
    • 健康な人を診断したときも、2%は陽性となる
    • 1000人に1人が罹患している時、陽性の人の内実際に罹患している確率は？
  • 回答
    1. 罹患している事象を$A$、陽性の結果となった事象を$B$とする
       • $P(A) = \frac{1}{1000}$
       • $P(B|A) = \frac{99}{100}$
       • $P(\bar{A})P(B|\bar{A}) = \frac{2}{100}$
       • $P(B) = P(A)P(B|A) + P(\bar{A})P(B|\bar{A}) = \frac{1}{1000} \frac{99}{100} + \frac{999}{1000} \frac{2}{100} = \frac{2097}{100000}$
       • 求めるべきは、$P(A|B)$である
    2. ベイズの定理より、
       • $P(A|B)=\frac{P(A)P(B|A)}{P(B)} = \frac{1}{1000} \frac{99}{100} \frac{100000}{2097} = \frac{11}{233}$

確率変数

• 確率変数の基礎知識

  • 確率的に値が変わる変数
  • 通常、イタリック体の大文字で表す
    • 例．$X,Y,...$
  • 確率変数が取りうる値は、イタリック体の小文字で表す
    • 例．$x,y,...$
  • $P(X=x)$で$X=x$となる確率を表す
  • 確率変数には、以下のパターンがある
    • 離散型(discrete)
    • 連続型(continuous)

• 標本空間$Ω={x_1, x_2, ..., x_N}$について

  • $Ω$上の確率変数を$X$
    　　$P(X=x_n)　($n=1,2,...,N$)$
    と定める
  • $Pn(1 \leq N)$は$P_n \geq 0$かつ総和が1($ \sum_{n=1}^{N} P_n = 1 $)
  • 平均
    • $E(X) = \sum_{n=1}^{N} x_n P_n$
  • 1回サイコロを降って出る目を$X$とする場合
    • $Ω={1,2,3,4,5,6}$
    • $P(X=x)=\frac{1}{6}　(n=1,2,...,6)$
    • $E(X) = 1 \frac{1}{6} + 2 \frac{1}{6} + ... + 6 \frac{1}{6} = \frac{7}{2}$

• 連続型$rv$の場合は$P(X=x)$の代わりに$P(a<X<b)$を与える

  • とくに、$P(a < X < b) = \int_a^b f(x)dx $
    • $f(x)$は$f(x) \geq 0$を満たす関数となる場合を考える
    • $f(x)$を確率密度関数(probability density function)という
    • 釣り鐘の、特定範囲の面積を指す
      • 範囲$(a,b)$は、開区間でも閉区間でも面積の誤差は無限小なので、気にしない
  • 平均
    • $E(X) = \int_{-∞}^∞ x f(x)dx$
      • ∞とはすなわち、確率変数が取る値全体

ひと区切り

数学拒否系プログラマのための確率統計の基礎(2) に続きます。