はじめに
とある目的で、ディープラーニングで手を検出したいなと思いやってみました。最初は1から学習して全然性能が出なくて、絶望していたのですが学習済みモデルを使うことで簡単に高性能な検出器を手に入れることができました。頼るべきはネットの集合知ですね。特に@KzhtTkhsさんの以下ツイートに助けられました。
意外と無い不思議🐤
— 高橋かずひと@リベロ拝命🐤 (@KzhtTkhs) August 15, 2019
EgoHand Datasetを利用した以下の実装とかならあります🐤🐤https://t.co/h6U7ZENZI2
ハンドサインまでいれるとまず無いので、いつも自作しています……🐤🐤🐤
ネットに助けられたので、簡単に作りかたを記事にまとめてネットの海に放流いたします。
写真では1つの手ですが、原理的には、複数の手でも検出可能です（両手の検出までは自分でも確認しています）。
ディープラーニングで高性能な手の検出器を作る方法
手の検出器を作るために、TensorFlowの「Object Detection API」を便利に使える自作のツール「Object Detection Tools」とObject Detection APIに対応した手を検出するための学習済みのモデルを公開している「handtracking」というリポジトリから必要なファイルをダウンロードして組み合わせるだけです。
具体的には、以下の3ステップで実現します。
- 機械学習環境を構築
- 物体検出スクリプトとモデルファイルをダウンロード
- 物体検出スクリプトを実行
順に説明していきます。
環境としてはMac環境を想定しています。Linux PCでも基本的にほぼ同じコマンドでOKです。
また、環境によってpythonをpython3にpipをsudo pip3に置き換える必要がありますので、適宜修正下さい。
機械学習環境を構築
学習環境構築
Pyenv + Anacondaを使ってセットアップしていきます。以下記事を参考にPyenvのインストールをしておいて下さい。
pyenv/pyenv-virtualenv/Anacondaを使ってクリーンなPython環境をセットアップ
Pyenvインストール後は、以下コマンドを実行して物体検出（Object Detection）に必要な環境を用意します。
最初にAnacondaをセットアッップして
$ pyenv install anaconda3-5.1.0
$ pyenv global anaconda3-5.1.0
$ conda create -n od anaconda
$ pyenv global anaconda3-5.1.0/envs/od
TensorFlowとOpenCVをセットアップします。
$ pip install tensorflow==1.14.0
$ pip install opencv-python
物体検出スクリプトとモデルファイルをダウンロード
以下コマンドで、物体検出スクリプト(object_detection.py)と学習済みのモデルファイル(frozen_inference_graph.pb)をダウンロードします。
$ wget https://raw.githubusercontent.com/karaage0703/object_detection_tools/master/scripts/object_detection.py
$ wget https://raw.githubusercontent.com/victordibia/handtracking/master/model-checkpoint/ssdlitemobilenetv2/frozen_inference_graph.pb
続いて、以下コマンドでラベルファイル(label.txt)を作成します。
$ echo 'hand' > label.txt
なお、「handtracking」には、複数のネットワークの学習済みモデルがあるので、モデルの速度や比較をしてみると面白いかもしれません。
物体検出スクリプトを実行
以下コマンドで実行しましょう。この記事の最初のように手の検出が可能です。
$ python object_detection.py -l='label.txt' -m='frozen_inference_graph.pb'
まとめ
ディープラーニングを使って簡単に手の検出器を作る方法を記事にしました。まだ試していませんが、Jetson Nanoでも動くと思います。試したら追記します。
Jetson Nanoでの一般的な物体検出の方法に関しては以下記事参照下さい。
Jetson Nanoでリアルタイムに物体検出をする方法（TensorFlow Object Detection API/NVIDIA TensorRT）
「Object Detection API」を使って自前データで1から学習する方法に関しては以下記事を参照下さい。
TensorFlowの「Object Detection API」で物体検出の自前データを学習する方法