はじめに

　CornerNet-Liteのインファレンスの記事を投稿して、早くトレーニングの記事を書かなければと思っていたのですが、CenterNetをWindows 10で実行するのに手間取って、遅くなりました。
　CenterNetは、CenterNet (Objects as Points) を無料GPU（Colab）で動かしてみるという、マニアックな記事がQiitaにあります。私も次の投稿でWindows 10でのインファレンスのやり方を投稿するつもりです。いまはトレーニングができるかどうかやっているところです。（トレーニングができなかったら恥ずかしいので投稿はやめます。）

注意

　今回はインファレンスはすでにできているというのが前提で、トレーニングを実行するときにつまずいた箇所を書いていきます。

1. MS COCO APIsのインストール

　Installing MS COCO Dataにある通りなのですが、

# mkdir -p <CornerNet-Lite dir>/data
# cd <CornerNet-Lite dir>/data
# git clone  git@github.com:cocodataset/cocoapi.git coco
Cloning into 'coco'...
Warning: Permanently added the RSA host key for IP address '52.69.186.44' to the list of known hosts.
git@github.com: Permission denied (publickey).
fatal: Could not read from remote repository.

Please make sure you have the correct access rights
and the repository exists.

と言われてしまったので、

# git clone https://github.com/cocodataset/cocoapi.git coco
Cloning into 'coco'...
remote: Enumerating objects: 953, done.
remote: Total 953 (delta 0), reused 0 (delta 0), pack-reused 953
Receiving objects: 100% (953/953), 11.70 MiB | 687.00 KiB/s, done.
Resolving deltas: 100% (565/565), done.

として、インストールしました。

# cd <CornerNet-Lite dir>/data/coco/PythonAPI
# make install
      1 [main] make 9832 find_fast_cwd: WARNING: Couldn't compute FAST_CWD pointer.  Please report this problem to
the public mailing list cygwin@cygwin.com
# install pycocotools to the Python site-packages
make: /bin/sh: Command not found
Makefile:7: recipe for target `install' failed
make: *** [install] Error 127

いろいろいわれているので、面倒なので

# type Makefile
all:
    # install pycocotools locally
        python setup.py build_ext --inplace
        rm -rf build

install:
        # install pycocotools to the Python site-packages
        python setup.py build_ext install
        rm -rf build

ということで、

# python setup.py build_ext install
略
cl : コマンド ライン error D8021 : 数値型引数 '/Wno-cpp' は無効です。
error: command 'C:\\Program Files (x86)\\Microsoft Visual Studio\\2017\\Community\\VC\\Tools\\MSVC\\14.16.27023\\bin\\HostX86\\x64\\cl.exe' failed with exit status 2

inferenceの時に出ていたエラーがまた出ているので、

# git diff
index dbf0093..cd37940 100644
--- a/PythonAPI/setup.py
+++ b/PythonAPI/setup.py
@@ -9,7 +9,7 @@ ext_modules = [
         'pycocotools._mask',
         sources=['../common/maskApi.c', 'pycocotools/_mask.pyx'],
         include_dirs = [np.get_include(), '../common'],
-        extra_compile_args=['-Wno-cpp', '-Wno-unused-function', '-std=c99'],
+        extra_compile_args={'gcc': ['/Qstd=c99']},
     )
 ]

と修正して、

# python setup.py build_ext install
略
Finished processing dependencies for pycocotools==2.0

でうまくいったような気がします。

2. Downdloading MS COCO

次はGoogle DriveからAnnotationデータのダウンロードをここからします。それをCornerNet-Lite\data\coco\におき、unzipします。

(CornerNet_Lite) F:\Users\sounansu\Anaconda3\CornerNet-Lite\data\coco>dir annotations.zip
 ドライブ F のボリューム ラベルは 記憶域 です
 ボリューム シリアル番号は ACCF-E884 です

 F:\Users\sounansu\Anaconda3\CornerNet-Lite\data\coco のディレクトリ

2019/05/06  12:53       165,200,202 annotations.zip
               1 個のファイル         165,200,202 バイト
               0 個のディレクトリ  2,430,335,139,840 バイトの空き領域
(CornerNet_Lite) F:\Users\sounansu\Anaconda3\CornerNet-Lite\data\coco>dir annotations
 ドライブ F のボリューム ラベルは 記憶域 です
 ボリューム シリアル番号は ACCF-E884 です

 F:\Users\sounansu\Anaconda3\CornerNet-Lite\data\coco\annotations のディレクトリ

2019/06/01  12:14    <DIR>          .
2019/06/01  12:14    <DIR>          ..
2019/06/01  12:14    <DIR>          annotations
2019/06/01  12:14    <DIR>          __MACOSX
               0 個のファイル                   0 バイト
               4 個のディレクトリ  2,429,785,260,032 バイトの空き領域

次に、COCOのイメージデータをダウンロードということで、
2014 Train images [83K/13GB]
2014 Val images [41K/6GB]
2017 Test images [41K/6GB]
をダウンロードして、ディレクトリを作って展開しました。

(CornerNet_Lite) F:\Users\sounansu\Anaconda3\CornerNet-Lite\data\coco\images>dir
 ドライブ F のボリューム ラベルは 記憶域 です
 ボリューム シリアル番号は ACCF-E884 です

 F:\Users\sounansu\Anaconda3\CornerNet-Lite\data\coco\images のディレクトリ

2019/06/01  14:03    <DIR>          .
2019/06/01  14:03    <DIR>          ..
2019/06/01  14:03    <DIR>          minival2014
2019/05/07  08:22     6,646,970,404 test2017.zip
2019/06/01  14:26    <DIR>          testdev2017
2019/05/07  03:08    13,510,573,713 train2014.zip
2019/06/01  13:39    <DIR>          trainval2014
2019/05/07  02:30     6,645,013,297 val2014.zip
               3 個のファイル      26,802,557,414 バイト
               5 個のディレクトリ  2,368,184,655,872 バイトの空き領域

3.Training and Evaluating a Model

まずは、ここで、トレーニングをやってみましょう。（データをどこのディレクトリに置けばよいのかは、ちゃんとPythonコードを追うとわかるのでしょうが、、）

(CornerNet_Lite) F:\Users\sounansu\Anaconda3\CornerNet-Lite>python train.py CornerNet_Saccade
Process 0: loading all datasets...
Process 0: using 4 workers
loading annotations into memory...
Traceback (most recent call last):
  File "train.py", line 249, in <module>
    main(None, ngpus_per_node, args)
  File "train.py", line 220, in main
    training_dbs = [datasets[dataset](config["db"], split=train_split, sys_config=system_config) for _ in range(workers)]
  File "train.py", line 220, in <listcomp>
    training_dbs = [datasets[dataset](config["db"], split=train_split, sys_config=system_config) for _ in range(workers)]
  File "F:\Users\sounansu\Anaconda3\CornerNet-Lite\core\dbs\coco.py", line 71, in __init__
    self._detections, self._eval_ids = self._load_coco_annos()
  File "F:\Users\sounansu\Anaconda3\CornerNet-Lite\core\dbs\coco.py", line 78, in _load_coco_annos
    coco = COCO(self._anno_file)
  File "F:\Users\sounansu\Anaconda3\envs\CornerNet_Lite\lib\site-packages\pycocotools-2.0-py3.7-win-amd64.egg\pycocotools\coco.py", line 84, in __init__
    dataset = json.load(open(annotation_file, 'r'))
FileNotFoundError: [Errno 2] No such file or directory: './data\\coco\\annotations\\instances_trainval2014.json'

どうも、data\coco\annotationsの下にjsonを置かなければならないようで、

(CornerNet_Lite) F:\Users\sounansu\Anaconda3\CornerNet-Lite\data\coco\annotations>dir
 ドライブ F のボリューム ラベルは 記憶域 です
 ボリューム シリアル番号は ACCF-E884 です

 F:\Users\sounansu\Anaconda3\CornerNet-Lite\data\coco\annotations のディレクトリ

2019/06/01  12:14    <DIR>          .
2019/06/01  12:14    <DIR>          ..
2019/06/01  12:14    <DIR>          annotations
2019/06/01  12:14    <DIR>          __MACOSX
               0 個のファイル                   0 バイト
               4 個のディレクトリ  2,368,184,639,488 バイトの空き領域

のannotationsの中のannotationsディレクトリ

(CornerNet_Lite) F:\Users\sounansu\Anaconda3\CornerNet-Lite\data\coco\annotations>dir annotations
 ドライブ F のボリューム ラベルは 記憶域 です
 ボリューム シリアル番号は ACCF-E884 です

 F:\Users\sounansu\Anaconda3\CornerNet-Lite\data\coco\annotations\annotations のディレクトリ

2019/06/01  12:14    <DIR>          .
2019/06/01  12:14    <DIR>          ..
2019/06/01  12:14             6,148 .DS_Store
2019/06/01  12:14        21,920,976 instances_minival2014.json
2019/06/01  12:14         3,978,101 instances_testdev2017.json
2019/06/01  12:14       523,965,144 instances_trainval2014.json
               4 個のファイル         549,870,369 バイト
               2 個のディレクトリ  2,368,117,530,624 バイトの空き領域

のjsonを一つ上に移動させましょう。

(CornerNet_Lite) F:\Users\sounansu\Anaconda3\CornerNet-Lite\data\coco\annotations>cd annotations

(CornerNet_Lite) F:\Users\sounansu\Anaconda3\CornerNet-Lite\data\coco\annotations\annotations>move *.json ..
F:\Users\sounansu\Anaconda3\CornerNet-Lite\data\coco\annotations\annotations\instances_minival2014.json
F:\Users\sounansu\Anaconda3\CornerNet-Lite\data\coco\annotations\annotations\instances_testdev2017.json
F:\Users\sounansu\Anaconda3\CornerNet-Lite\data\coco\annotations\annotations\instances_trainval2014.json
        3 個のファイルを移動しました。

(CornerNet_Lite) F:\Users\sounansu\Anaconda3\CornerNet-Lite\data\coco\annotations\annotations>cd ..

(CornerNet_Lite) F:\Users\sounansu\Anaconda3\CornerNet-Lite\data\coco\annotations>dir
 ドライブ F のボリューム ラベルは 記憶域 です
 ボリューム シリアル番号は ACCF-E884 です

 F:\Users\sounansu\Anaconda3\CornerNet-Lite\data\coco\annotations のディレクトリ

2019/06/01  17:36    <DIR>          .
2019/06/01  17:36    <DIR>          ..
2019/06/01  17:36    <DIR>          annotations
2019/06/01  12:14        21,920,976 instances_minival2014.json
2019/06/01  12:14         3,978,101 instances_testdev2017.json
2019/06/01  12:14       523,965,144 instances_trainval2014.json
2019/06/01  12:14    <DIR>          __MACOSX
               3 個のファイル         549,864,221 バイト
               4 個のディレクトリ  2,368,117,530,624 バイトの空き領域

さて、もう一度トレーニングをやってみましょう。

(CornerNet_Lite) F:\Users\sounansu\Anaconda3\CornerNet-Lite>python train.py CornerNet_Saccade
Process 0: loading all datasets...
Process 0: using 4 workers
loading annotations into memory...
Done (t=22.49s)
creating index...
index created!
loading annotations into memory...
Done (t=19.21s)
creating index...
index created!
loading annotations into memory...
Done (t=19.87s)
creating index...
index created!
loading annotations into memory...
Done (t=37.70s)
creating index...
index created!
loading annotations into memory...
Done (t=1.36s)
creating index...
index created!
system config...
{'batch_size': 48,
 'cache_dir': './cache',
 'chunk_sizes': [12, 12, 12, 12],
 'config_dir': './config',
 'data_dir': './data',
 'data_rng': <mtrand.RandomState object at 0x0000021027B4C048>,
 'dataset': 'COCO',
 'decay_rate': 10,
 'display': 5,
 'learning_rate': 0.00025,
 'max_iter': 500000,
 'nnet_rng': <mtrand.RandomState object at 0x000002102AF984C8>,
 'opt_algo': 'adam',
 'prefetch_size': 5,
 'pretrain': None,
 'result_dir': './results',
 'sampling_function': 'cornernet_saccade',
 'snapshot': 5000,
 'snapshot_name': 'CornerNet_Saccade',
 'stepsize': 450000,
 'test_split': 'testdev',
 'train_split': 'trainval',
 'val_iter': 100,
 'val_split': 'minival'}
db config...
{'ae_threshold': 0.3,
 'att_max_crops': 30,
 'att_nms_ks': [3, 3, 3],
 'att_ranges': [[96, 256], [32, 96], [0, 32]],
 'att_ratios': [16, 8, 4],
 'att_scales': [[1, 2, 4]],
 'att_sizes': [[16, 16], [32, 32], [64, 64]],
 'att_thresholds': [0.3],
 'border': 64,
 'categories': 80,
 'data_aug': True,
 'gaussian_bump': True,
 'gaussian_iou': 0.5,
 'gaussian_radius': -1,
 'init_sizes': [192, 255],
 'input_size': [255, 255],
 'lighting': True,
 'max_per_image': 100,
 'max_per_set': 40,
 'max_scale': 32,
 'merge_bbox': False,
 'min_scale': 16,
 'nms_algorithm': 'exp_soft_nms',
 'nms_kernel': 3,
 'nms_threshold': 0.5,
 'num_dets': 12,
 'output_sizes': [[64, 64]],
 'rand_center': True,
 'rand_color': False,
 'rand_crop': False,
 'rand_scale_max': 1.1,
 'rand_scale_min': 0.5,
 'rand_scale_step': 0.1,
 'rand_scales': array([0.5, 0.6, 0.7, 0.8, 0.9, 1. , 1.1]),
 'ref_dets': True,
 'score_threshold': 0.05,
 'test_flipped': True,
 'test_scales': [1],
 'top_k': 12,
 'view_sizes': [],
 'weight_exp': 8}
len of db: 118287
distributed: False
Process 0: building model...
total parameters: 116969339
start prefetching data...
shuffling indices...
start prefetching data...
shuffling indices...
start prefetching data...
shuffling indices...
start prefetching data...setting learning rate to: 0.00025
shuffling indices...

training start...
  0%|                                                | 0/500000 [00:00<?, ?it/s]

始まったのですが、

RuntimeError: CUDA error: invalid device ordinal (exchangeDevice at ..\c10/cuda/impl/CUDAGuardImpl.h:29)
(no backtrace available)

とエラーが出てしまいました。
よくわからないのですが、複数のissueを読むと、githubのコードは、トレーニングの際に4GPU使ってトレーニングするように、CornerNet-Lite\configsないのjsonの

       "batch_size": 48,

と

        "chunk_sizes": [12, 12, 12, 12]

で1GPUあたり、12個ずつ1バッチ48で指示しているようなので、

diff --git a/configs/CornerNet_Saccade.json b/configs/CornerNet_Saccade.json
index 533b3fa..137eda6 100755
--- a/configs/CornerNet_Saccade.json
+++ b/configs/CornerNet_Saccade.json
@@ -1,7 +1,7 @@
 {
     "system": {
         "dataset": "COCO",
-        "batch_size": 48,
+        "batch_size": 6,
         "sampling_function": "cornernet_saccade",

         "train_split": "trainval",
@@ -19,7 +19,7 @@
         "stepsize": 450000,
         "snapshot": 5000,

-        "chunk_sizes": [12, 12, 12, 12]
+        "chunk_sizes": [6]
     },

     "db": {

と合計1GPUでGPUあたり6バッチ(RTX2070のため)と変更してトレーニングし始めると、

(CornerNet_Lite) F:\Users\sounansu\Anaconda3\CornerNet-Lite>python train.py CornerNet_Saccade
Process 0: loading all datasets...
Process 0: using 4 workers
loading annotations into memory...
Done (t=19.18s)
creating index...
index created!
loading annotations into memory...
Done (t=19.24s)
creating index...
index created!
loading annotations into memory...
Done (t=20.39s)
creating index...
index created!
loading annotations into memory...
Done (t=41.88s)
creating index...
index created!
loading annotations into memory...
Done (t=1.13s)
creating index...
index created!
system config...
{'batch_size': 6,
 'cache_dir': './cache',
 'chunk_sizes': [6],
 'config_dir': './config',
 'data_dir': './data',
 'data_rng': <mtrand.RandomState object at 0x000001794F768438>,
 'dataset': 'COCO',
 'decay_rate': 10,
 'display': 5,
 'learning_rate': 0.00025,
 'max_iter': 500000,
 'nnet_rng': <mtrand.RandomState object at 0x000001794F768480>,
 'opt_algo': 'adam',
 'prefetch_size': 5,
 'pretrain': None,
 'result_dir': './results',
 'sampling_function': 'cornernet_saccade',
 'snapshot': 5000,
 'snapshot_name': 'CornerNet_Saccade',
 'stepsize': 450000,
 'test_split': 'testdev',
 'train_split': 'trainval',
 'val_iter': 100,
 'val_split': 'minival'}
db config...
{'ae_threshold': 0.3,
 'att_max_crops': 30,
 'att_nms_ks': [3, 3, 3],
 'att_ranges': [[96, 256], [32, 96], [0, 32]],
 'att_ratios': [16, 8, 4],
 'att_scales': [[1, 2, 4]],
 'att_sizes': [[16, 16], [32, 32], [64, 64]],
 'att_thresholds': [0.3],
 'border': 64,
 'categories': 80,
 'data_aug': True,
 'gaussian_bump': True,
 'gaussian_iou': 0.5,
 'gaussian_radius': -1,
 'init_sizes': [192, 255],
 'input_size': [255, 255],
 'lighting': True,
 'max_per_image': 100,
 'max_per_set': 40,
 'max_scale': 32,
 'merge_bbox': False,
 'min_scale': 16,
 'nms_algorithm': 'exp_soft_nms',
 'nms_kernel': 3,
 'nms_threshold': 0.5,
 'num_dets': 12,
 'output_sizes': [[64, 64]],
 'rand_center': True,
 'rand_color': False,
 'rand_crop': False,
 'rand_scale_max': 1.1,
 'rand_scale_min': 0.5,
 'rand_scale_step': 0.1,
 'rand_scales': array([0.5, 0.6, 0.7, 0.8, 0.9, 1. , 1.1]),
 'ref_dets': True,
 'score_threshold': 0.05,
 'test_flipped': True,
 'test_scales': [1],
 'top_k': 12,
 'view_sizes': [],
 'weight_exp': 8}
len of db: 118287
distributed: False
Process 0: building model...
total parameters: 116969339
start prefetching data...
shuffling indices...
start prefetching data...
shuffling indices...
start prefetching data...
shuffling indices...
start prefetching data...
shuffling indices...
setting learning rate to: 0.00025
training start...
Process 0: training loss at iteration 5: 166.93370056152344
Process 0: training loss at iteration 10: 50.40235137939453
Process 0: training loss at iteration 15: 26.264556884765625
  0%|                                   | 16/500000 [01:17<279:45:48,  2.01s/it]

無事始まったようです。

おわりに

　CornerNet-Liteいかがだったでしょうか？Windowsでいらん苦労しているという話でもあるのですが、Object Detectionの新しい流れを感じるためにも、まずは、コードを動かしてみて、いろいろいじってみるのがいいんじゃないかと思うところです。
　Inferenceができれば、Trainingは比較的楽にできますので、遊んでみてください。次は一応InferenceができるようになったCenterNetですが、これからそちらのTrainingにチャレンジしてみます。
（うまくそこまでいけばQiitaにやり方のおさらいを載せます。ダメだったら、、、、。忘れてください。）