LoginSignup
3

More than 5 years have passed since last update.

数学拒否系プログラマのための確率統計の基礎(1)

Posted at

概要・想定する読み手

昨今はずいぶんと文系プログラマが増えてきたように思えます。
センター数ⅠAが6点だった私がエンジニア顔できるのですから、いい時代になったものです。

とはいえ、最近はそんな数学拒否系プログラマも飽和してきたので、数学を再勉強することにしました。
分野は確率統計です。データサイエンティストを目指します。
基本的に自分用のメモとして書きますが、同類の方から見てもわかるよう、がんばって綺麗にまとめます。

標本空間(Ω/sample space)

  • 試行の結果起こることの全体
    • 1枚のコイン投げ:$Ω={表,裏}$
    • 1回サイコロを振る:$Ω={1, 2, 3 ,4 , 5, 6}$

事象(event)

  • 標本空間Ωの部分集合
  • 各事象には確率が定義されるはず

    • ならば、どうやって確率を定義するかという問題
      • サイコロの目は、1/6である
      • 確率の定義は、各事象の和が1となる正の実数
    • 例.正四面体ダイスを考える。$Ω={1,2,3,4}$
      • 事象全体の集合(べき集合)は$2^4=16$通り
        • $Φ={ {1}, {2}, {3}, {4}, {1,2}, {2,3}, ... , {1,2,3,4} }$
    • 1が出る確率$P({1})$と、1または2が出る確率$P({1,2})$を考える
      • どっちが確率が高いか?無論、1または2が出るほうだ
        • $P({1}) \leq P({1,2})$
      • 一般に、二つの事象$A, B$に対して、
        • $A \subset B \Rightarrow P({A}) < P({A}) $
      • また、$P({1}) + P{2} = P({1,2})$であり、一般化すると、
        • $A \cap B = Φ$に対して、$P({A}) + P{B} = P({A,B})$
    • 一般的に考える
      • べき集合の一般的な公式
        1. 冪集合の数について:$Φ=2^{|Ω|}$
        2. 補集合も冪集合内に含まれていることについて:$A \subset Ω \Rightarrow \bar{A} \subset B$
        3. 和集合について:$A \cap B = Φ$に対して、$P({A}) + P{B} = P({A,B})$
    • 上記の一般的な公式を拡げると、完全加法族(冪集合の拡張概念)
      1. $P(A) \geq 0 $ for all $ A \subset \bf{A}$($\bf{A}$は完全加法族)
      2. $P(Ω) = 1$
      3. $A_1, A_2, ..., $が排反なら、$P( \bigcup_{i=1}^{∞}A_i ) = \sum_{i=1}^{∞}P(A_i)$
  • 上の公式から$P(\bar{A}) \Rightarrow 1 - P(A)$を示す

    • 証明
      1. $A \subset \bf{A} \Rightarrow \bar{A} \subset \bf{A}$
      2. $A \cup \bar{A} = Ω, A \cap \bar{A} = Φ$
      3. $P(A \cup \bar{A}) = P(Ω) = 1$
      4. $P(A \cup \bar{A}) = P(A) + P(\bar{A})$
      5. 3・4より、$P(\bar{A}) \Rightarrow 1 - P(A)$
        • 証明終了

事象の独立性・条件付き確率

  • 積の公式
    • $P(B|A) = \frac{P(A \cap B)}{P(A)}$
      • すなわち、$P(A)P(B|A) = P(A \cap B)$
  • 全確率の公式
    • $P(A) = P(B)P(A|B) + P(\bar{B})P(A|\bar{B})$
    • 例.箱の中に赤玉が3個、白玉が2個ある。無作為に玉を1つ取り出した時に、2回目に取り出した玉が赤である確率は?(玉は戻さない)
      1. 2回目に赤が出る事象を$A$、1回めに赤が出る事象を$B$とすると、以下のことが自明
        • $P(B) = \frac{3}{5}$
        • $P(\bar{B}) = \frac{2}{5}$
        • $P(A|B) = \frac{2}{4}$
        • $P(A|\bar{B}) = \frac{3}{4}$
      2. よって、全確率の公式を用い、
        • $P(A) = P(B)P(A|B) + P(\bar{B})P(A|\bar{B}) = \frac{3}{5} \frac{2}{4} + \frac{2}{5} \frac{3}{4} = \frac{3}{5}$

ベイズの公式

  • $P(B|A) = \frac{P(B)P(A|B)}{P(A)}$
    • 同時確率(積の公式)は事象を入れ替えても同じ
      • $P(A \cap B) = P(B \cap A)$
    • $P(A \cap B) = P(A)P(B|A) = P(B)P(A|B)$
      • ここからベイズの定理を導ける
  • 例題
    • 設問
      • インフルエンザにかかった人の99%は、検査結果が陽性である
      • 健康な人を診断したときも、2%は陽性となる
      • 1000人に1人が罹患している時、陽性の人の内実際に罹患している確率は?
    • 回答
      1. 罹患している事象を$A$、陽性の結果となった事象を$B$とする
        • $P(A) = \frac{1}{1000}$
        • $P(B|A) = \frac{99}{100}$
        • $P(\bar{A})P(B|\bar{A}) = \frac{2}{100}$
        • $P(B) = P(A)P(B|A) + P(\bar{A})P(B|\bar{A}) = \frac{1}{1000} \frac{99}{100} + \frac{999}{1000} \frac{2}{100} = \frac{2097}{100000}$
        • 求めるべきは、$P(A|B)$である
      2. ベイズの定理より、
        • $P(A|B)=\frac{P(A)P(B|A)}{P(B)} = \frac{1}{1000} \frac{99}{100} \frac{100000}{2097} = \frac{11}{233}$

確率変数

  • 確率変数の基礎知識

    • 確率的に値が変わる変数
    • 通常、イタリック体の大文字で表す
      • 例.$X,Y,...$
    • 確率変数が取りうる値は、イタリック体の小文字で表す
      • 例.$x,y,...$
    • $P(X=x)$で$X=x$となる確率を表す
    • 確率変数には、以下のパターンがある
      • 離散型(discrete)
      • 連続型(continuous)
  • 標本空間$Ω={x_1, x_2, ..., x_N}$について

    • $Ω$上の確率変数を$X$
        $P(X=x_n) ($n=1,2,...,N$)$
      と定める
    • $Pn(1 \leq N)$は$P_n \geq 0$かつ総和が1($ \sum_{n=1}^{N} P_n = 1 $)
    • 平均
      • $E(X) = \sum_{n=1}^{N} x_n P_n$
    • 1回サイコロを降って出る目を$X$とする場合
      • $Ω={1,2,3,4,5,6}$
      • $P(X=x)=\frac{1}{6} (n=1,2,...,6)$
      • $E(X) = 1 \frac{1}{6} + 2 \frac{1}{6} + ... + 6 \frac{1}{6} = \frac{7}{2}$
  • 連続型$rv$の場合は$P(X=x)$の代わりに$P(a<X<b)$を与える

    • とくに、$P(a < X < b) = \int_a^b f(x)dx $
      • $f(x)$は$f(x) \geq 0$を満たす関数となる場合を考える
      • $f(x)$を確率密度関数(probability density function)という
      • 釣り鐘の、特定範囲の面積を指す
        • 範囲$(a,b)$は、開区間でも閉区間でも面積の誤差は無限小なので、気にしない
    • 平均
      • $E(X) = \int_{-∞}^∞ x f(x)dx$
        • ∞とはすなわち、確率変数が取る値全体

ひと区切り

数学拒否系プログラマのための確率統計の基礎(2) に続きます。

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3