論文を書く、学位を取得するそのためには、論文を書かなくちゃならない。
そういった状況では、自分が優れた学習アルゴリズムを作って、それが効果だと言わなくちゃならない。
しかし、実務としての機械学習の分野では、学習アルゴリズムよりも、データの継続的な増強によって課題を解決する方がよい。
この文章はそのことを伝えるために書く。
適切なデータがなければ、学習結果の評価すらできない。
過検出を1000回に1回未満、未検出も1000回に1回未満にしてくれという、安易な要求仕様がくる。
その依頼者は、それを検証するためにどれだけのデータがテストデータとして必要になるかを理解しているだろうか
ある日の生産ラインでの1000分の1が、別の日の生産ラインで1000分の1を満たせるかなんて、
学習してテストしてみない限り、言いようがない。
適切なデータがなければ、学習済みのモデルの適応可能な範囲さえわからないい。
Aという欠陥が検出できたからといって、A'という結果が検出できるとは限らない。
緑色のコンベアの上で外観検査に成功したからといって、白っぽい別のコンベアの上で外観検査に成功するかは、テストしてみないとわからない。
だから、データ中心開発のスタイルで、継続的な評価と学習を繰り返すしかない。
継続的な評価がなければ、現行モデルにどういう見落としが残っているのかがわからない。
- 既に用意されている、train, validation, test のデータの範囲で学習、学習時検証、テストをしているかぎり、その範囲でしか、性能の評価ができない。
- その機械学習モデルが将来あつかわなきゃいけない状況を、それらのデータが網羅していることはまずないんだ。
- 車載分野の人物検出を、2次元画像処理の問題として定式化している限り、車椅子の歩行者を見落とすことだってありだろう。
学習アルゴリズムがまさるとき:
- 既存の学習モデルが過学習さえできないとき
意図的にデータリークをさせまくってさえ、学習できないときは、
その学習の枠組みが、対応する現象を表現ししきれていないという可能性が高いです。
Haar-Cascadeの枠組みは、顔検出には使えましたが、歩行者検出には使えませんでした。
HOG-SVM の枠組みは、歩行者検出には使えましたが、任意の姿勢の人物検出には使えませんでした。
このような状況では、そこで使っている特徴量と学習の枠組みが、解決しようとするタスクに即していない可能性がある。
このような場合には、従来の枠組みをこえて学習アルゴリズムを再考する必要がある。
特徴量エンジニアリングがまさるとき
特徴量の選択は正しいか?
陽性データポイントと陰性データポイントの特徴量の分布
t-SNEというマッピングツールを使って、陽性データポイントと陰性データポイントの分布を見る。
データポイントの特徴量の分布が、それらのマッピングで区別しやすいかどうかを見極める見極めやすさに効いてくる。
いずれにしても、学習アルゴリズムや特徴量の再設計が必要になると判断するためのデータの継続的な収集と、それに基づく学習の改良をしたあとの話だ。
以下のリンク先の記事は、データ中心のアプローチがどれほど実りが多いのかを教えてくれる。