7日目

Coursera でStanford が提供しているMachine Learning のWEEK 5 にながらく苦戦していたのですが、復習に復習をかさね、講座のビデオも何度も見直し、ようやく完璧に理解しました。そのおかげで、WEEK 5 の修了テストもようやく合格し、週明けからはWEEK 6 に入れそうです。

WEEK 11 まであるのでこれで折り返し。

スケジュールが少し押してしまっているので、クリスマスの3連休を使って少しずつ挽回を図ります。

過去記事一覧

ロジスティック回帰

さて、実際の講座の進捗とこちらの日々のレポートは乖離したままですが、今日はロジスティック回帰(講座でいうところのだいたいWEEK 3 くらい)を説明したいと思います。

二値分類

腫瘍の大きさと、それが良性か悪性かどうか(二値)のトレーニングデータがあるとします。大きさをx軸に、それが悪性かどうかをy軸にプロットして、次のようなグラフが得られたとします。

まずこれにいままでのように線形回帰を適用させてみましょう。そうすると、次のようなh(x) が引けるかと思います。

これで、もし、h(x) が0.5以上なら悪性、h(x) が0.5 未満なら良性と予測してみましょう。一見これでもうまくいきそうに見えますが、トレーニングデータに大きな腫瘍のデータが追加されたとします。すると...

そうすると、h(x) はこのような直線になってしまい、本来悪性と予測すべきサイズでも良性と判断されかねないものとなってしまいます。そのため、こういった分類は線形回帰ではうまく表現できないということがわかるかと思います。

シグモイド関数

また、線形回帰ではh(x) が1より大きい値もとれてしまいますし、0より小さい値もとれてしまいます。しかし、二値分類におけるh(x) は0以上1以下の値域におさめたいです。そのため、シグモイド関数というものを導入します。

線形回帰におけるh(x) はでしたが
ロジスティック回帰ではこれにシグモイド関数(g)を適用し

と表現されます。
ここでシグモイド関数は以下で定義された関数です。

グラフの形状は次のようになります。

(y をg(z) x をz と読み替えてください)

この定義の元で、

とします。

h(x) はシグモイド関数なので、上記をシグモイド関数で考えると、

z が0以上か0未満かで境界がわかれるのがわかります。

h(x) の定義と上記より


となります。

具体例

具体例をひとつあげておきます。

このような分布のデータがあったとすると、

このθ を

この定義に代入して、さきほどの境界を決定する式にあてはめて考えると

このようになり、結局

という、図の直線となります。

θの選び方

ロジスティック回帰でも線形回帰と同じようにコストを考えてみましょう。つまり、仮説関数h(x) とトレーニングデータの値y の差がコストとなります。

しかし、線形回帰ではこのコスト関数が凸関数(局所最小 = グローバル最小)ということが知られていましたが、ロジスティック回帰では凸関数になりません。これはh(x) がシグモイド関数であるためですが、理由などは解析的に難しい話になるのはここでは割愛し、ともかく、コスト関数をこのまま使うと、最急降下法のような局所最小を求める手順では、最小値を導くことができなくなってしまいます。