機械学習に必要な高校数学やり直しアドベントカレンダー Advent Calendar 2016の5日目の記事です。
4日目の記事はkazutarosuさんで数学ガールについてでした。
数学ガール、聞いたことがあるだけで読んだことはないので、これを気に読んでみようかと思いました。
この記事では、ベイズの定理を使ってモンティ・ホール問題を解いてみようかと思います。
一部高校数学の範囲を超えているところがあるかもしれませんが、ご容赦ください。
確率の復習
確率変数
確率とは、「ある事象が起こる確からしさの度合い」です。
サイコロで言えば、「6の目が出る確率」は$\frac{1}{6}$です。
この「6の目が出る確率」は以下のような式で表されます。
$$P(X=6)=\cfrac{1}{6}$$
ここで、$X$を確率変数、$P(X)$は$X$の確率といいます。
サイコロの例で言うと、$X$はサイコロを振って出た目($1,2,3,4,5,6$)、$P(X)$はそのサイコロの目が出る確率になります。
同時確率, 条件付き確率
確率変数が$X, Y$の2つあるとき、$P(X,Y)$を$X$と$Y$の同時確率と呼びます。
例えば、2つのサイコロを同時に投げ、片方のサイコロの出る目を$X$、もう片方を$Y$としたとき、
$X=1$かつ$Y=1$となる（つまり2つのサイコロが両方1の目が出る）確率は
$$P(X=1, Y=1)=\cfrac{1}{36}$$
と表すことができます。
では次に、先に1つのサイコロを投げ、出た目を確認してからもう片方のサイコロを投げるとします。
先に投げたサイコロの出る目を$X$、後に投げたサイコロの出る目を$Y$として、
先に投げたサイコロの目が1（つまり$X=1$）のとき、後に投げたサイコロの目が1（$Y=1$）となる確率は
$$P(Y=1|X=1)=\cfrac{\frac{1}{36}}{\frac{1}{6}}=\cfrac{1}{6}$$
と表され、これを条件付き確率と呼びます。
条件付き確率は同時確率を用いて以下の式で表されます。
$$P(Y|X)=\cfrac{P(X,Y)}{P(X)}$$
ベイズの定理の導出
条件付き確率の式を少し変形すると、
$$P(X,Y)=P(Y|X)P(X)$$
と表されます。
この式は確率変数$X$についての形ですが、確率変数$Y$についても表すことができます。
$$P(X,Y)=P(X|Y)P(Y)$$
左辺の同時確率は共通なので
$$P(Y|X)P(X)=P(X|Y)P(Y)$$
少し変形して
$$P(X|Y)=\cfrac{P(Y|X)}{P(Y)}P(X)$$
これでベイズの定理の導出は終わりです。式変形だけで求めることができました。
$P(X)$は$X$の起こる確率、$P(X|Y)$は$Y$が起こった時に$X$が起こる確率なので
$X$が起こる確率$P(X)$は$Y$が起きたために$\frac{P(Y|X)}{P(Y)}$を掛けることで更新され$P(X|Y)$となる、と言うことができます。
$Y$が起こる前と後の確率ということで、$P(X)$を事前確率、$P(X|Y)$を事後確率と呼びます。
$\frac{P(Y|X)}{P(Y)}$は修正項と呼ぶことにしましょう。
このベイズの定理が一体何の役に立つのかということですが、ここでとある有名な問題に注目してみましょう。
モンティ・ホール問題
皆さんはモンティ・ホール問題をご存知でしょうか。
アメリカのとあるクイズ番組で取り上げられた問題で、
当時その解答の真偽をめぐってちょっとした論争が起こったそうです。
問題の内容は、
- プレイヤーの前に閉じられた3つのドアが用意され、
そのうちの1つの後ろには景品（当たり）が、残りの2つの後ろにはヤギ（外れ）がいる - まずプレイヤーが当たりだと思うドアを選択する（この時点ではドアはまだ開けない）
- 事前にどのドアが当たりかを知っている司会者が、残った2つのドアのうち外れのドアを開ける
- 司会者はプレイヤーに最初の選択を変えてもいいと伝える
- このとき、プレイヤーは「最初に選んだドア」か「残ったドア」のどちらを選択するべきか？（どちらが正解する確率が高いか？）
というものです。
直感的に考えると、
- 残ったドアのうちどちらかが当たりでどちらかが外れなので、確率は$\frac{1}{2}$
- ドアは最初3つあったので確率は均等に$\frac{1}{3}$
のどちらかのように思われますが、実は両方とも間違いです。
解法: ドアの数を増やす
ドアの数は3つとなっていましたが、ドアの数を増やすと直感的に理解しやすいです。
例えばドアが10000個あった場合、プレイヤーは最初にそのうちの1つを選びます。
なので当たりのドアを選ぶ確率は$\frac{1}{10000}$です。とても当たりそうにありません。
ここで、司会者が残りの9999個のドアから当たりのドアを除いた9998個のドアを開けます
（プレイヤーが当たりのドアを選んでいる場合は9999個の外れのドアから9998個開けます）。
この司会者の9998個のドアを開けるという行為は、司会者がそれらのドアは外れであると教えてくれているのと同じです。
プレイヤーに選ばれなかった9999個のドアの中に当たりのドアがある確率は$\frac{9999}{10000}$ですが、
その内の9998個のドアは外れだと司会者が教えてくれているので、
残った1つのドアが当たりである確率が$\frac{9999}{10000}$になります。
そのため最初の選択から変えた方がよいというわけです。
解法: 全パターン書き出す
次は起こり得る全パターンを書き出して考えてみましょう。
説明を簡単にするために、3つのドアをA, B, Cとし、当たりのドアがAであるとします。
当たりのドアをAと決めていますが、単に決めの問題なので一般性を失いません。
| パターン | プレイヤーの選ぶドア | 司会者の選ぶドア | ドアの選択を変えて正解する確率 | ドアの選択を変えないで正解する確率 |
|---|---|---|---|---|
| 1 | A | B | $0$ | $\frac{1}{3}\times\frac{1}{2}=\frac{1}{6}$ |
| 2 | A | C | $0$ | $\frac{1}{3}\times\frac{1}{2}=\frac{1}{6}$ |
| 3 | B | C | $\frac{1}{3}$ | $0$ |
| 4 | C | B | $\frac{1}{3}$ | $0$ |
プレイヤーが当たりであるドアAを選ぶパターン1と2
まず、最初に当たりのドアAを選んでいるので、ドアの選択を変えて正解する確率は$0$です。
次にドアの選択を変えないで正解する確率を求めます。
プレイヤーがドアを選択する確率が$\frac{1}{3}$、
ドアB,Cはともに外れで司会者はどちらを開けてもよいため、司会者がドアを開ける確率が$\frac{1}{2}$、
司会者がBを選ぶパターン1とCを選ぶパターン2の2通りあるので、
ドアの選択を変えないで正解する確率は、
$$\frac{1}{3}\times\frac{1}{2}\times2=\frac{1}{3}$$
になります。
プレイヤーが外れのドアを選ぶパターン3と4
まず、最初に外れのドアを選んでいるので、ドアの選択を変えないで正解する確率は$0$です。
次にドアの選択を変えて正解する確率を求めます。
プレイヤーがドアを選択する確率が$\frac{1}{3}$、
残ったドアのどちらか一方には当たりのドアが存在するため司会者は残ったうちの片方のドアしか開ける事ができないため
（プレイヤーがドアBを選んだ場合は司会者はドアCを、プレイヤーがドアCを選んだ場合は司会者はドアBを選ぶしかない）、
司会者がドアを開ける確率が$1$、
プレイヤーがBを選ぶパターン3とCを選ぶパターン4の2通りあるので、
ドアの選択を変えて正解する確率は、
$$\frac{1}{3}\times1\times2=\frac{2}{3}$$
になります。
よって、ドアの選択を変えたほうが確率が高くなることがわかります。
ベイズの定理で解くモンティ・ホール問題
モンティ・ホール問題を分かりにくくしているのが、
「司会者が当たりでないドアを開ける」ことで状況に介入してきていることです。
この問題を、「司会者が当たりでないドアを開け」た後に「プレイヤーが当たりのドアを開ける」条件付き確率を求める問題として考えると、
ベイズの定理を使って解けそうな気がします。
ベイズの定理は以下の式で表されることは上で述べました。
$$P(X|Y)=\cfrac{P(Y|X)}{P(Y)}P(X)$$
$P(X)$をドアが当たりである確率、$P(Y)$を司会者がドアを選ぶ確率とし、
プレイヤーはAのドアを選び司会者はBのドアを選ぶとします。
先ほどの全パターン書き出したときはAが当たりのドアであるとしましたが、
今回は説明の容易さのため前提を変えています。
また、プレイヤーや司会者が開けるドアをあらかじめ決めていますが、やはり決めの問題なので一般性を失いません、
Bを司会者が選んでいる以上当たりのドアはAかCのどちらかであることから、
事後確率$P(X|Y)$は$P(X=A|Y=B)$と$P(X=C|Y=B)$のいずれかになります。
プレイヤーは最初にAのドアを選択しているので、
$P(X=A|Y=B)$は最初の選択を変えないで当たりのドアを選ぶ確率、
$P(X=C|Y=B)$は最初の選択を変えて当たりのドアを選ぶ確率にあたります。
最初の選択を変えないで当たりのドアを選ぶ確率
つまりプレイヤーの選んだドアAが当たりの場合です。
$P(X=A|Y=B)$をベイズの定理を用いて表すと、
$$P(X=A|Y=B)=\cfrac{P(Y=B|X=A)}{P(Y=B)}P(X=A)$$
司会者がドアを開ける前において、ドアが当たりである可能性はどのドアも均等なので、$P(X=A)=\frac{1}{3}$。
プレイヤーがドアAを選択した後、司会者が選べるドアはB,Cの二択なので$P(Y=B)=\frac{1}{2}$。
ドアB,Cはともにハズレで司会者はどちらを選んでもよいので、$P(Y=B|X=A)=\frac{1}{2}$
よって、最初の選択を変えないで当たりのドアを選ぶ確率$P(X=A|Y=B)$は
$$P(X=A|Y=B)=\cfrac{1}{3}$$
となります。
最初の選択を変えて当たりのドアを選ぶ確率
つまりドアCが当たりの場合です。
$P(X=C|X=B)$をベイズの定理を用いて表すと、
$$P(X=C|Y=B)=\cfrac{P(Y=B|X=C)}{P(Y=B)}P(X=C)$$
司会者がドアを開ける前において、ドアが当たりである可能性はどのドアも均等なので、$P(X=C)=\frac{1}{3}$。
プレイヤーがドアAを選択した後、司会者が選べるドアはB,Cの二択なので$P(Y=B)=\frac{1}{2}$。
ドアCが当たりなので司会者はドアBしか選べず、$P(Y=B|X=C)=1$。
よって、最初の選択を変えて当たりのドアを選ぶ確率$P(X=A|Y=C)$は
$$P(X=C|Y=B)=\cfrac{2}{3}$$
となります。
よって、やはりドアの選択を変えたほうが確率が高くなることがわかります。
まとめ
ベイズの定理自体は単なる条件付き確率に関する式で、
この記事ではベイズの定理の意味するところにはあまり触れませんでしたが、
- 主観確率と客観確率
- 頻度主義とベイズ主義
あたりの話を知るとより面白くなると思います。
機械学習に必要な高校数学やり直しアドベントカレンダー Advent Calendar 2016の6日目はyukisakoさんです。よろしくお願いします。