はじめに

Deep Learning Specialization の Course 3, Week 1 (C3W1) の内容です。

(C3W1L01) Improving Model Performance

内容

machine learning の分析の戦略を説明していく

(C3W1L02) Orthogonalization

内容

Fit training set well on cost function ( $\sim$ human level)
- bigger network
- Adam
Fit dev set well on cost function
- regularization
- bigger training set
Fit test set well on cost function
- bigger dev set
Performs well in real world
- change dev set or cost function
early stop は 'fit training set' と 'fit dev set' の両方に影響を及ぼすので，あまり使わない

(C3W1L03) Single number evaluation metric

内容

1 つの定量的な評価指標があれば，判断が早くなる
1 つの方法は，F1 score

F_1 \mathrm{score} = \frac{2}{\frac{1}{P} + \frac{1}{R}}

$P$ ; Precision (精度)
$R$ ; Recall (再現性)

(C3W1L04) Satisficing and Optimizing metrics

内容

一般的に $N$ 個の指標があるとき，
- 1 つを最適尺度 (最適化する指標)，
- 残り $N-1$ 個を条件尺度にする (〇〇以下，とか)

(C3W1L05) Train/Dev/Test distributions

内容

dev set や test set の選び方のガイドライン
Choose a dev set and test set to reflect data you expect to get in the future and consider important to do well on
dev/test set を，実際のデータと同じ分布になるようにする

(C3W1L06) Size of dev and test sets

内容

Old way of splitting data (データ数が 100 ～ 10000 個)
- Train : Dev = 7 : 3
- Train : Dev : Test = 6 : 2 : 2
100 万以上のデータがある場合は
- Train : Dev : Test = 98 : 1 : 1
Size of test set
- Set your test set to be big enough to give high confidence in the overall performance of your system (システムの性能を十分に評価できる程度の大きさ)
10000 ～ 100000 くらい
test set が無いときもある (一般的にはお勧めしない)

感想 (メモ)

train set ; classifier を鍛える
dev set ; classifier の性能が向上したか否かを評価する
test set ; classifier の最終的な性能を評価する (dev set に overfit している可能性があるので)

(C3W1L07) When to change dev/test sets and metrics

内容

例えば error 率が低くても，間違ってポルノ画像を選んでしまうアルゴリズムは良いとは言えない。このようなときは，評価尺度を変える。例えば $w^{(i)}$ を重みとして

 \mathrm{Error} = \frac{1}{\sum_{i} w^{(i)}} \sum_{i=1} w^{(i)} 1 \left\{ y_{pred}^{(i)} \neq y^{(i)} \right\} \\
w^{(i)} = 1 \ \mathrm{if} \ x^{(i)} \ \mathrm{is\ not\ porn} \\
w^{(i)} = 10 \ \mathrm{if} \ x^{(i)} \ \mathrm{is\ porn}

評価尺度を決めることと，よい性能を出す方法を考えることは，分けて考える

(C3W1L08) Why human-level performance?

内容

理論的な精度 (Bayes optimal error，best possible error) を越えることはできない
human-level を越えると，学習速度は遅くなる

(C3W1L09) Avoidable bias

内容

Human-level ($\sim$ Bayes) が 1%，Training error が 8%，Dev errro が 10% のとき，bias に着目する
Human-level ($\sim$ Bayes) が 7.5%，Training error が 8%，Dev errro が 10% のとき，variance に着目する
Human-level と Training error のギャップを avoidable bias と呼ぶ

(C3W1L10) Understanding human-level performance

内容

Human-level error as a proxy for Bayes error
Human-level とは何か?
- Typical human
- Typical doctor
- Experienced doctor
- Team of experienced doctors

(C3W1L11) Surpassing human-level performance

内容

Problems where ML significantly surpass human-level performance
- On-line advertisement
- Product recommendation
- Logistics (predicting transit time)
- Loan approvals
特徴は
- Structured data
- Not natural perception
- Lots of data

(C3W1L12) Improving Model Performance

内容

The two fundamental assumptions of supervised learning
- You can fit the training pretty well
- The training set performance generalized pretty well to the dev/test set
Reducing avoidable bias
- Train bigger model
- Train larger/better optimization algorithm
- NN architecture / hyperparameters search
Reducing variance
- More data
- Regularization (L2, dropout, data augumentation)
- NN architecture/hyperparameters search

感想

画面がときどき真っ黒になる。4 分 50 秒以降は (多分) 黒いだけ。

参考

Deep Learning Specialization (Coursera) 自習記録 (目次)