これは何
2021年で最もイケている物体検出フレームワークと言っても過言ではないIceVisionを使って標準データセットのペットデータセットを使ったObject Detectionを簡単に行うためのhands-on
IceVisionとは
過去記事参照
環境
Jupyterは結局オンプレのUbuntuで動かしています。
一応google colabでの動作確認も行いました。
手順
基本的には公式のチュートリアル「How to train the Fridge Objects Dataset」を踏襲します。
ただ、アップデートにdocument/exampleの更新が追い付いていないようなので、適宜icedataのリポジトリも参照しながら書き換えていきます。
まず、使うライブラリをimportします。
from icevision.all import *
import icedata
モデル作成
次に、使いたいmodelを定義します。とりあえず動かすだけなのでMMDetectionのRetinanetにしておきます。
MMDetection、Torchvision、EfficientDet、Yolov5をサポートしておりmodel.(library).(model_name)のように指定することでモデル構造を定義できます。
model_type = models.mmdet.retinanet
続けてbackboneを定義します。
これもかなりサポートされており、MMDetectionに関しては対応するモデルのbackboneフォルダに使えるbackboneが一覧で記載されています。(YoLoもディレクトリ内backbone.pyにあります。)
TorchvisionとEfficientDetに関してはちょっと違うところに説明が置いてあります。開発途中だからなのかな。。。
今回はとりあえずresnet50_fpn_1xを使います。
backbone = model_type.backbones.resnet50_fpn_1x
データセット作成
続けて、datasetを読み込みます。
今回はicevisionにインストールされているThe Oxford-IIIT Pet Dataset (CVPR 2012)を使います。Fine-Grained Object Detectionとでも言うタスクになるんでしょうか。
ちなみに、執筆時点ではreadme.mdに記載されているfridgeデータセットは使えません。
使えるデータセットはicedataのdocumentに記載があり、
Birds (Caltech-UCSD Birds 200 Dataset)
Biwi (BIWI Sample Keypoints (center of face))
Coco (COCO Dataset)
Fridge (Fridge Objects Dataset)
Ochuman (OCHuman Dataset)
Pennfudan (Penn-Fudan Database for Pedestrian Detection and Segmentation)
Voc(PASCAL VOC 2012 Dataset)
があるようです。
ここでdatasetとclass_mapを入れておきます。
data_dir = icedata.pets.load_data()
class_map = icedata.pets.class_map()
データセットに付属のperserが icedata.(dataset).parser に標準装備されており、簡単にパーサーを設定することができます。
parser = icedata.pets.parser(data_dir = data_dir, mask=False)
このパーサーはparser.parse()を用いて分割することができますが、これにはdata_splitterのオプションがあります。
data_splitter = RandomSplitter([0.9, 0.1])
train_records, valid_records = parser.parse(data_splitter)
データセットの可視化も show_recordsを用いることで簡単にできます。
show_records(train_records[:6], ncols=3, class_map=class_map)
petsデータセットは犬派(犬:猫 = 2:1)なんですよね。
次に、データセットの形を整形します。と言ってもかなり簡単です。
このライブラリの目的は、できるだけ少ない労力でモデルを変えつつ実験を行うことなので、sizeはEfficientDetに合わせて384にしておきます。
また、augumentationはtfms.A.aug_tfmsで指定できます。(ほかのaugumentationも使えます。)
できたものをDataset()でPyTorchのDatasetクラスに変換します。
presize = 512
size = 384
train_tfms = tfms.A.Adapter([*tfms.A.aug_tfms(size=size, presize=presize), tfms.A.Normalize()])
valid_tfms = tfms.A.Adapter([*tfms.A.resize_and_pad(size), tfms.A.Normalize()])
train_ds = Dataset(train_records, train_tfms)
valid_ds = Dataset(valid_records, valid_tfms)
次にデータローダーを準備します。
train_dl = model_type.train_dl(train_ds, batch_size=16, num_workers=4, shuffle=True)
valid_dl = model_type.valid_dl(valid_ds, batch_size=16, num_workers=4, shuffle=False)
学習
続けてモデルおよびmetricsを定義してしまいます。Retinanetの場合は以下のようになります。
model = model_type.model(backbone = backbone(pretrained = True), num_classes=len(parser.class_map))
metrics = [COCOMetric(metric_type=COCOMetricType.bbox)]
ここから先は通常のfastai (or PyTorch-Lighting)と同じ使い方になります。
learn = model_type.fastai.learner(dls=[train_dl, valid_dl], model=model, metrics=metrics)
learn.lr_find()
learn.fine_tune(20, 1e-3)
Nvidia RTX A6000で20epoch 30分程度でした。
これだけでpetの画像が学習できてしまいました。
推論
推論も1行でできます。
model_type.show_results(model, valid_ds, detection_threshold=.5)
さすがRetinanet、そんなに長いこと計算を回してないのに、かなりいい感じに推論できています。
自前データセットでの学習だったり、指標の計算に続く...かもしれません