機械学習
MachineLearning

Coursera Machine Learning の受講記録(Week5)

Machine Learning by Stanford University WEEK5 のまとめ

コスト関数とバックプロパゲーション

コスト関数

Kobito.AWQYuF.png

ロジスティック回帰のコスト関数は以下
Kobito.aq3m82.png

ニューラルネットワークのコスト関数はロジスティック回帰のコスト関数を一般化した以下となる。
Kobito.KXLmts.png

バックプロパゲーションアルゴリズム

バックプロパゲーション(逆伝播)はニューラルネットワークのコスト関数を最小化する手法
Kobito.JkcaPK.png

Kobito.iCebbp.png
を算出するのに以下のバックプロパゲーションアルゴリズムを適用する。

Kobito.nsTSNN.png

上記の解説
Kobito.QLuRoC.png

バックプロパゲーショでやっている事は期待値との差分δを逆方向(出力層から入力層へ以下のように伝播させている。
Kobito.kZm0fc.png

#バックプロパゲーションの適用法詳細

行列→ベクトルに変換した実装方法

θ、D(行列)をベクトルに変換する方法、それを元の行列に戻す方法 具体的なoctaveでの実装方法は以下。
Kobito.ScR6vL.png

グラディエントチェッキング

バックプロパゲーションで計算したJ(θ)の微分が正しいかをチェックする方法。
Kobito.6AB1aO.png
★グラディエントチェッキングは時間のかかる処理なので、チェックのみに利用し、実際に計算を走らせる時にはコメントアウトする等が必要。

ランダム初期化

θの初期値を0にしてしまうとうまく計算されないので、0近くのランダムな値で初期化する必要あり。
Kobito.XESiBU.png

サマリー

Kobito.nzBMvv.png