0. Introduction

YOLO v3が一番高性能なんでしょ？何て言うのは束の間、既により高性能な新しいアルゴリズムがいくつも提案されている模様。
そこで、以下の1位(HTC+DCN+ResNet+FPN)であるMMDetectionを動作させたいと考えている。

Multimedia Labolatroyという香港の大学が開発したものらしい。
https://arxiv.org/abs/1906.07155

案の定、中国語しか情報がない。
頑張って読んで行こう。

1. Installation

安装方法について説明する。

Environment

取り合えず環境として以下を整える

CUDA=10.0
CUDNN=7.6.2
python=3.7
pytorch=1.2
cython

様々な安装方法があるみたいなので、動いた方法を以下に記す。

$ conda create -n open-mmlab python=3.7 -y
$ source activate open-mmlab
$ conda install pytorch torchvision -c pytorch
$ pip install mmcv
$ pip install scikit-learn
$ pip install cython

これで多分、環境は整うはず。
公式にも書かれていないいくつかの依存ライブラリがあるので
エラーが出るようなら、追加でインストールして適宜処置してください。

Download

Gitからデータを持ってくる

$ git clone https://github.com/open-mmlab/mmdetection.git

おもむろにDocsを見てみる

$ cd docs
$ cat INSTALL.md

インストール方法が全部書かれている！と思いきや、殆ど動かない。

取り合えず、ルートディレクトリで以下を実行

python setup.py develop

放っておくと、Finished processing dependencies for mmdet==1.0rc0+c5c7ef9なんて表示されて終わっている。

Datasets

http://cocodataset.org/#downloadに接続し、次をダウンロード

$ aria2c -x5 http://images.cocodataset.org/zips/train2017.zip
$ aria2c -x5 http://images.cocodataset.org/zips/val2017.zip
$ aria2c -x5 http://images.cocodataset.org/zips/test2017.zip
$ aria2c -x5 http://images.cocodataset.org/annotations/annotations_trainval2017.zip

次に、データを以下のように配置しよう

mmdetection
├── mmdet
├── tools
├── configs
├── data
│   ├── coco
│   │   ├── annotations
│   │   ├── train2017
│   │   ├── val2017
│   │   ├── test2017
│   ├── cityscapes
│   │   ├── annotations
│   │   ├── train
│   │   ├── val
│   ├── VOCdevkit
│   │   ├── VOC2007
│   │   ├── VOC2012

以下のような感じで既にダウンロード済みのファイルをmmdetectionの各ディレクトリにリンクを張ろう。

$ mkdir coco
$ cd coco
$ ln -s /data/coco/annotations annotations

2. Training

mmdetectionのルートディレクトリで作業を行う。

以下のコマンドで学習を開始できる。

$ python ./tools/train.py ./configs/ssd512_coco.py

学習が開始されれば以下のように表示される。

2019-09-10 10:25:19,585 - INFO - Epoch [1][50/73292]    lr: 0.00080, eta: 12 days, 8:25:21, time: 0.607, data_time: 0.031, memory: 6449, loss_cls: 18.6068, loss_bbox: 3.2373, loss: 21.8441
2019-09-10 10:25:43,886 - INFO - Epoch [1][100/73292]   lr: 0.00093, eta: 11 days, 2:57:32, time: 0.486, data_time: 0.014, memory: 6449, loss_cls: 12.4040, loss_bbox: 3.2519, loss: 15.6559
2019-09-10 10:26:08,312 - INFO - Epoch [1][150/73292]   lr: 0.00106, eta: 10 days, 17:30:14, time: 0.488, data_time: 0.014, memory: 6449, loss_cls: 8.3587, loss_bbox: 3.0604, loss: 11.4191

基本的にはconfigsを変えれば、事前にプリセットで多く用意されているモデルを試すことが出来る。

SOTA

次に最高性能を出すといわれているHybrid task cascade for instance segmentationのconfigsを動かす。

このためには、cocoのstuffデータが必要。

$ aria2 -x5 http://calvin.inf.ed.ac.uk/wp-content/uploads/data/cocostuffdataset/stuffthingmaps_trainval2017.zip
$ unzip stuffthingmaps_trainval2017.zip
$ ln -s /data/coco/stuffthingmaps_trainval2017 stuffthingmaps

以下のようにリンクを張ろう。

mmdetection
├── mmdet
├── tools
├── configs
├── data
│   ├── coco
│   │   ├── annotations
│   │   ├── train2017
│   │   ├── val2017
│   │   ├── test2017
|   |   ├── stuffthingmaps

では、学習を行う。

$ python ./tools/train.py ./configs/htc/htc_r101_fpn_20e.py

学習が始まると以下のように表示される。

2019-09-10 13:50:18,500 - INFO - Epoch [1][50/58633]    lr: 0.00797, eta: 13 days, 4:27:21, time: 0.972, data_time: 0.053, memory: 7557, loss_rpn_cls: 0.4004, loss_rpn_bbox: 0.0736, loss_semantic_seg: 1.0111, s0.loss_cls: 0.7468, s0.acc: 92.9082, s0.loss_bbox: 0.1077, s0.loss_mask: 0.7450, s1.loss_cls: 0.2681, s1.acc: 95.2305, s1.loss_bbox: 0.0332, s1.loss_mask: 0.3974, s2.loss_cls: 0.1186, s2.acc: 96.0312, s2.loss_bbox: 0.0058, s2.loss_mask: 0.2093, loss: 4.1170
2019-09-10 13:51:07,826 - INFO - Epoch [1][100/58633]   lr: 0.00931, eta: 13 days, 6:52:50, time: 0.987, data_time: 0.040, memory: 7557, loss_rpn_cls: 0.3023, loss_rpn_bbox: 0.0903, loss_semantic_seg: 0.9507, s0.loss_cls: 0.4658, s0.acc: 94.3926, s0.loss_bbox: 0.1136, s0.loss_mask: 0.6911, s1.loss_cls: 0.1425, s1.acc: 96.9160, s1.loss_bbox: 0.0350, s1.loss_mask: 0.3428, s2.loss_cls: 0.0523, s2.acc: 97.9414, s2.loss_bbox: 0.0057, s2.loss_mask: 0.1716, loss: 3.3637
2019-09-10 13:51:58,157 - INFO - Epoch [1][150/58633]   lr: 0.01064, eta: 13 days, 9:51:44, time: 1.007, data_time: 0.041, memory: 7717, loss_rpn_cls: 0.2357, loss_rpn_bbox: 0.0748, loss_semantic_seg: 0.9145, s0.loss_cls: 0.5364, s0.acc: 92.7969, s0.loss_bbox: 0.1564, s0.loss_mask: 0.6763, s1.loss_cls: 0.1477, s1.acc: 96.3887, s1.loss_bbox: 0.0472, s1.loss_mask: 0.3368, s2.loss_cls: 0.0493, s2.acc: 97.8340, s2.loss_bbox: 0.0067, s2.loss_mask: 0.1698, loss: 3.3514
2019-09-10 13:52:48,686 - INFO - Epoch [1][200/58633]   lr: 0.01197, eta: 13 days, 11:40:01, time: 1.011, data_time: 0.037, memory: 7717, loss_rpn_cls: 0.1984, loss_rpn_bbox: 0.0664, loss_semantic_seg: 0.8763, s0.loss_cls: 0.4840, s0.acc: 93.7109, s0.loss_bbox: 0.1395, s0.loss_mask: 0.6760, s1.loss_cls: 0.1330, s1.acc: 96.7891, s1.loss_bbox: 0.0440, s1.loss_mask: 0.3355, s2.loss_cls: 0.0423, s2.acc: 98.1230, s2.loss_bbox: 0.0064, s2.loss_mask: 0.1665, loss: 3.1682
2019-09-10 13:53:38,486 - INFO - Epoch [1][250/58633]   lr: 0.01331, eta: 13 days, 11:47:47, time: 0.996, data_time: 0.037, memory: 7744, loss_rpn_cls: 0.2124, loss_rpn_bbox: 0.0726, loss_semantic_seg: 0.8794, s0.loss_cls: 0.4503, s0.acc: 94.1387, s0.loss_bbox: 0.1260, s0.loss_mask: 0.6697, s1.loss_cls: 0.1218, s1.acc: 97.0117, s1.loss_bbox: 0.0362, s1.loss_mask: 0.3280, s2.loss_cls: 0.0416, s2.acc: 98.1328, s2.loss_bbox: 0.0047, s2.loss_mask: 0.1629, loss: 3.1054

3. Testing

Testは以下のコマンドで実行できる

python ./tools/test.py ./configs/htc/htc_r50_fpn_1x work_dirs/htc_r50_fpn_1x/epoch_2.pth --out results.pkl --eval bbox segm

全ての結果はresults.pklに格納されるため、これを参照して1つ1つ結果を取りだしてもよい。

Detection detail

以下のコードで1枚1枚の識別を可能とする

from mmdet.apis import init_detector, inference_detector, show_result
import mmcv

config_file = '../configs/htc/htc_r50_fpn_1x.py'
checkpoint_file = '../work_dirs/htc_r50_fpn_1x/epoch_2.pth'

model = init_detector(config_file, checkpoint_file, device='cuda:0')

img = '/data/0.jpg'
result = inference_detector(model, img)
show_result(img, result, model.CLASSES)