サッカーW杯ポルトガルvsスペインの得点シーンをOpenPoseで可視化してみました。
OpenPoseとは人の画像から、その関節位置を推定するディープラーニングのアルゴリズムです。

本投稿では

OpenPoseによるサッカー動画の可視化の結果
OpenPoseの使い方

を紹介します。

免責事項：OpenPose

本内容は筆者が個人的趣味の範囲で楽しんでいるものです
OpenPoseの商用利用にはライセンスが必要です
OpenPoseは商用利用でもスポーツ領域には使用できません
※ OpenPoseライセンスの詳細

免責事項：画像・動画

画像・動画引用元：サッカーW杯ポルトガル対スペイン, NHK, 2018年6月16日.
本投稿では「明瞭区別性」と「主従関係」が明らかな「引用」として画像・動画を使用しています。弁護士の見解では以下のように著作権法に対して問題ないようですが、注意は必要です。

テレビの試合中継。写メってツイートするのは著作権侵害？？｜平林弁護士がアドバイス！SNS法律相談所
【結論】Tさんの画像付きツイートが著作物の「引用」（著作権法32条1項）と認められる場合、著作物侵害にはならない

OpenPoseでの可視化の結果

動画はこちら（約2分）

W杯ポルトガルvsスペインの得点シーンをOpenPoseで可視化してみた。詳細や免責事項はこちら。https://t.co/lu41tbORik pic.twitter.com/bgjYwu1DBP
— すぐる (@Neuro_educator) 2018年6月16日

OpenPoseの使い方

公式GitHubのインストール手順書の通りにやっていたのですが、うまくいかずに苦労しました。
最終的には以下の記事が非常に参考になりました。

●GPU非搭載のPCだけどOpenPoseを試したい（その2）

1. マシンの用意

AWSのEC2インスタンスを用意します。設定は以下の通りです。

マシンイメージ：Deep Learning Base AMI (Ubuntu)
インスタンスタイプ：p2.Xlarge

OpenPoseを実行するためには、基本的にはGPUインスタンスを使用します。

2. 環境設定

以下の内容を順番に実行します。

sudo apt-get update
sudo apt-get upgrade
sudo apt-get dist-upgrade

git clone https://github.com/CMU-Perceptual-Computing-Lab/openpose
cd openpose

mkdir build
cd build

cmake ..
make -j`nproc`

最後のmakeは時間がかかります。20分くらいかかったような。

3. 実行方法

openposeのフォルダに戻り、データを置くフォルダinputを作成します。

cd ..
mkdir input

フォルダinputに画像や動画を置きます。画像はpng、動画はaviを試しました。

画像を解析する場合の実行方法は次の通りです。

./build/examples/openpose/openpose.bin --image_dir input/ --write_images output -display 0

-display 0に注意が必要です。--no_displayは通りませんでした。これでinputフォルダ内の画像が解析され、outputというフォルダに解析結果が格納されます。

動画を解析する場合の実行方法は次の通りです。

./build/examples/openpose/openpose.bin --video input/mv.avi --write_video mv_pose.avi -display 0

これでinputフォルダ内のmv.aviという動画ファイルが解析され、openposeフォルダ直下にmv_pose.aviという解析された動画が保存されます。

まとめ

以上、OpenPoseで遊んでみたでした。

昨週は、Alexaとスマートウォッチで遊んだ記事を書きました。
お時間ありましたら、こちらもぜひご覧ください。