More than 3 years have passed since last update.

機械学習のデータの集め方

Last updated at 2021-04-15Posted at 2016-05-31

データを集める問題については、最近はwebで記事を書かれているのが増えてきています。
検索して、調べていって、学びとっていきたいところです。

参考になりそうな記事のリンク集です。

機械学習で用いる顔画像データセットの一作り方（１：WebAPIサービスを用いて候補画像取得）
chainerによるディープラーニングでAV女優の類似画像検索サービスをつくったノウハウを公開する
機械学習のデータセット画像枚数を増やす方法
ディープラーニングで顔写真から巨乳かどうかを判別してみる (うまくいったか微妙)
顔画像の特徴点抽出で使えそうな学習データセット２
顔画像の特徴点抽出で使えそうな学習データセット(随時更新)
- 顔画像の特徴点抽出の最初の学習には、このような手作業での特徴点のアノテーションが重要です。
- しかし、いったん顔画像の特徴点の導出の精度が出る手法が構築されたら、それらの手法を活用することです。
- 現在では, dlibなどに特徴点(kandmark)の導出ライブラリの性能が高くなっているので、たいがいの場合、そのライブラリで、手作業を置き換えられるようになってきています。
ねこと画像処理 part 1 – 素材集め
Raspberry PiにOpenCVを入れて、顔検出した結果の画像を簡単に集める方法 with Python
Ryan Mitchell　著、黒川利明　訳、嶋田健志　技術監修「PythonによるWebスクレイピング」
Toby Segaran　著、當山仁健、鴨澤眞夫　訳「集合知プログラミング」
Interface 2016年7月号「一番たいへんな学習データベースの作り方からラズパイ1・2・3認識テストまで
ターゲット魚「ナベカ」の学習と認識」

手入力

伝え聞くところによると、機械学習のためのデータは、手作業で入力データを作成していることが多いと聞きます。
また、目的がはっきりしており、その作業の投資の結果を回収する見通しがある場合には、多数の人を雇って
入力データを手作業で継続的に追加して改良を重ねていると聞きます。

ネガティブサンプルの重要性

歩行者検出の分野では、歩行者を含まない道路や町並みの画像がとても重要になります。
車載カメラの場合には、車両から見える画角でのデータであることが重要です。
歩行者検出をBoostingで学習させる場合には、人を画像に含まない大量の画像が必要です。
Cascade型の識別器では、後段になればなるほど、紛らわしい画像の比率が高まってきます。
そのようなときに、人画像を見つけ出したのを、negativeとして使ってしまうと、検出器の性能が著しく低下します。
Cascade型の識別器では、後段になればなるほど、学習した結果が、学習させたデータセット（positive画像、negative画像ともに）に依存性が強まったものになりがちです。(追記：今どきBoostingを使う人は少ないか。ネガティブサンプルが重要なことは、変わりない。)

　例えば、犬の顔の検出器を作ろうとする場合、既存の検出器で検出できる分だけの犬の顔を集めても、検出器の性能に役立つ画像になるかどうかは確かではありません。柴犬とブルドッグでは、顔の形状が違いすぎます。柴犬の顔だけを集めてもブルドッグの顔を検出できるようになるかは疑わしいと考えます。ある顔向きで検出できたとして、別の顔向きで検出できるとは限りません。ですから、既存の検出器で検出できた画像を用いて、検出器の性能を向上させようとするのは危険です。犬の顔を検出できたシーンの次の時刻の追跡結果を用いるなどの方法で、既存検出器で検出できない画像を用いることができるようにするなどの工夫をすべきです。（このような状況が深層学習ではどうなのかは、私は知りたいところです。）
　深層学習では、横顔を元にして正面顔のデータベースと比較して人物の認証をできると主張されています。

真横を向いた顔でも、サングラスやマスクでも高い照合率
パナソニック、ディープラーニングで世界最高水準の顔照合を実現

多数の種類のオブジェクトを動画から検出するにはYOLOを使うのもよさそうだ。誤検出があっても人力で選びなおす前提ならば、検出速度が高いほうが便利だ。