Edited at

Google Colaboratory上でYOLOv3のオリジナルデータ学習


Google ColaboratoryでYOLOv3を学習させたい

最近,物体検出を学習データから作成し学習させないといけない事態があり,最初にGPUなし自分の環境でなるんじゃないかと思い動かした時に,ものすごーーく時間が掛かってしまったので無料でGPUが使えるColaboratory上で学習をさせたかった.

ただ苦戦したので,とりあえずメモ.気が向いた時に綺麗に書き直します.


YOLOv3 学習データの作成

とりあえず,'How to train YOLOv3 to detect custom objects'の記事だったり'YOLO-VOCでのカスタムオブジェクトの作成の仕方'の記事を参考にさせていただきました. 詰まったとこもあるので後日詳しく記載予定.ただ,この記事でデータセットの作成まではなんとかなった.CPUでもよければ学習は可能.


ちなみに,自分の環境で学習させてみると


スクリーンショット 2018-10-17 22.24.11.png

こんな感じで気が狂いそうなほど時間がかかる.ばらつきはあるものの1epoch3分!早いとこ諦めればよかった.


GPUが使いたい

最初から使えばよかったのに,ということで使います.基本的なColaboratoryの使い方は省略します.本当にGoogle様様です.

とりあえず最初はこちらのコードを参考に進めました.ありがたいことにexplains how to run YOLO on Google Colabしてくれてます.まさに求めていたもの. てことで進めてみますが,なぜかうまく動かない.


とりあえず私が動かした方法を載せます.


Colaboratoryの状態確認

諸々の状態を確認します.Colabの環境がどれくらいの頻度で変化するのかは分かりませんが,現在の状態を確認します.


Ubuntuのバージョン

以下のコマンドを実行


!cat /etc/os-release

コマンド結果

Ubuntu 18.04なんですね.


gcc, g++のバージョン

!gcc -v

!g++ -v

-vの結果

それぞれgcc-7, g++-7なんですね.


cudaの確認

何が置いてあるのか確認する.

!ls /usr/local

lsの結果

cuda-9.2がある.


違うバージョンが必要

上記のように確認して,自分が違うものを使いたかったら変えることもできる.ただ,もともとあるのであれば元のを使ってあげるのが一番...!!このセクションはあくまで参考までに.


  • Ubuntuのバージョン : どうしようもない

  • gcc, g++ : 変えれる.例えば5にしたい場合こんな感じでできる.

    aptでもって来た後,シンボリックリンクを変えてあげる.

!apt install gcc-5 g++-5 -y

!ln -sf /usr/bin/gcc-5 /usr/bin/gcc
!ln -sf /usr/bin/g++-5 /usr/bin/g++


  • cuda : 変えれるんじゃないかなぁ...

    先ほど紹介したこちらの記事の中にあるので,多分できる.ただ,私の場合うまくいかなかった.gccのバージョン問題とか乗り越えてもなぜかmakeでcore dumpが起こってしまった.


準備はできた

下準備が終わったので動かしていく.


データを読み込む

自分の場合はアホみたいに直接driveにdarknetを丸ごとアップロードしたのでマウント取ってあげる.賢い人はColab上でデータ作ったり,圧縮してあげて,コード上で解凍とかするべき.ちなみに,darknet自体はgit cloneでもって来て来れるので.cloneして学習させたいデータだけ圧縮してdriveにアップロードしてもってくるのが一番賢いと思う.

from google.colab import drive

drive.mount('/content/gdrive')
!ls

lsしてあげて,gdriveとsample_dataが確認できたら大丈夫. マウントできてる.

darknetに移動してかくにん

%cd /content/gdrive/My\ Drive/darknet/

!ls

ここで,darknetの中身が出てくるはず.


cuda

なんか,そのままだとできなかった.個人的にapt install cuda-9-2が大事な気がする.シンボリックリンクはいらない気が大いにするけど念のため.

!apt update

!apt install cuda-9-2 -y
!ln -sf /usr/local/cuda-9.2 /usr/local/cuda

import os
os.environ['PATH'] += ':/usr/local/cuda/bin'
os.environ['LD_LIBRARY_PATH'] += ':usr/local/cuda/lib64'


仕上げ

Makefileを書き換えてGPUを使うように設定する.他にもMakefileはいじった記憶があるけど,いじったおかげで動いたのかいらなかったのかよくわからないから割愛.

!sed -i 's/GPU=0/GPU=1/g' Makefile

!cat Makefile

そして,ついに,makeする.

!make

makeに成功したらできたら学習させるだけ.makeできなかった方はMakefileの中身だったり,PATH周りをよく確認してみてください.

!./darknet detector train cfg/obj.data cfg/obj.cfg darknet53.conv.74

cfg/以下はそれぞれ各自のものに書き換えてください..Colabありがとう,かなり早くなりました.

ちなみに,実行するときはweightをダウンロードしてあげて,

./darknet detect cfg/obj.cfg obj_1000.weights data/dog.jpg

とかしてあげれば動くと思う.それぞれ,cfgとweights,写真は変えてあげる必要がある.私の場合はdarknet/backup下にweightsが保存されています.

コードをGithubに載せました.こちら.