Machine Learning by Stanford University WEEK3 のまとめ

分類　クラシフィケーション

ロジスティック回帰

ex) 腫瘍の大きさにより、悪性か良性かを分類する　という例

yの値は0か1になる

hθ(x) = g(θTx)
z = θTx
g(z) = 1/ (1+e^-z)

g(z)はシグモイド関数またはロジスティック関数という

hθ(x) = 0.7 の場合、70%の確率で悪性(1)、30%の確率で良性(0)になる。
これを式で表すと以下の通り　（P(y=1|x;θ)はx,θをパラメータとしてy=1である確率の意味）

ロジスティック回帰の決定境界

シグモイド関数(ロジスティック回帰)で定義されるh(x)が0.5以上の場合は1, 0.5未満の場合は0と判断できる。

hθ(x) = g(θTx)
z = θTx
g(z) = 1/ (1+e^-z)
なので、

例）

x1,x2は上記の式で表せる。この式で表現される境界値を決定境界と言う。

ロジスティック回帰のコスト関数

コスト関数をグラフ化すると以下の通り

y=1 の時　・・ hθ(x)＝1の時、J(θ）は1に漸近

y=0 の時　・・ hθ(x)＝1の時、J(θ）は1に漸近

上記をy=1,0に分けずに式にすると

この式は以下のように表せる。

ベクトル化すると以下

最急降下法は

これは以下のように表記できる。

ベクトル化すると以下となる。

最急降下法以外のJ(θ）最適化アルゴリズム

最急降下法以外に、BFGS, L-BFGS, 共役勾配法がある。
これらのアルゴリズムの詳細はコースの範囲外なので触れない。
octaveにはfminunc　という最適化の為の関数が用意されている。
使用例は以下

function [jVal, gradient] = costFunction(theta)
  jVal = [...code to compute J(theta)...];
  gradient = [...code to compute derivative of J(theta)...];
end

options = optimset('GradObj', 'on', 'MaxIter', 100);
initialTheta = zeros(2,1);
   [optTheta, functionVal, exitFlag] = fminunc(@costFunction, initialTheta, options);