Info

タイトル：Unity Perception: Generate Synthetic Data for Computer Vision
著者：Steve Borkman, Adam Crespi, Saurav Dhakad, Sujoy Ganguly, Jonathan Hogins, You-Cyuan Jhang, Mohsen Kamalzadeh, Bowen Li, Steven Leal, Pete Parisi, Cesar Romero, Wesley Smith, Alex Thaman, Samuel Warren, Nupur Yadav
論文：https://arxiv.org/abs/2107.04259
プロジェクトページ：https://github.com/Unity-Technologies/com.unity.perception

概要

Unity Editorとエンジンコンポーネントを拡張し、アノテーションを施したデータセットを生成するツールを紹介する。
拡張可能なランダム化フレームワークを提供する。データセットにバリエーションを持たせるためのランダム化のシミュレーションパラメータを簡単に設定することができる。

背景

ディープラーニングのタスクが複雑になるにつれてアノテーションも複雑になり、レビューが必要になるなどデータ構築コストは増大していく。
EUのGDPRやカリフォルニアのCCPAなど、プライバシー保護関係の法整備により、ユーザーのデータを使用することが難しくなっている。
バーチャルなデータ生成環境があれば、アノテーションコストを削減でき、プライバシーの問題も発生しない。

手法

Perceptionではボックス、セグメンテーション、キーポイントのアノテーションを利用可能。フレームワークに沿ってスクリプトを書くことで、機能を拡張することもできる。

データの生成はシナリオと呼ばれるエンティティとランダマイザーと呼ばれるエンティティで構成される。ランダマイザーはランダム化のための環境パラメータを持ち、物体の配置や物体の回転等を生成する。シナリオは全てのランダマイザーを順番に実行する制御の役割を持つ。シナリオとランダマイザーはベースのクラスを継承して自分で拡張することができる。

データ生成はローカルコンピュータのUnity Editorでも実行できるし、クラウド計算環境サービスであるUnity Simulationでも実行できる。クラウド環境は大規模な並列計算環境で、大規模データセットを構築に向いている。並列計算ではあるが、決定論的なランダムサンプリングとランダム化の順序付けにより、生成されたデータの再現性が担保されている。

Perceptionパッケージに加えて、DatasetInsights3という付属のPythonパッケージが提供されている。データセットの統計情報の生成と可視化が可能。

サンプルプロジェクト

プロジェクトSynthDetを行った。63種類の日用品の物体検出で、人工データと実データを使用して比較を行った。モデルはFaster-RCNNを使用した。

データセット

背景には位置・回転・色相・テクスチャをランダムに決定したシンプル形状の物体を配置した。前景には位置・回転・スケールをランダムに決定した日用品オブジェクトを配置した。前景のさらに前の位置には、少数のオブジェクトを配置してオクルージョンが発生するにようにした。また、照明にもランダム要素を加え、出力画像にはblurなどもランダムに加えた。

人工データは400,000枚、実データは1,267枚用意した。

学習戦略

ResNet50(pretrained ImageNet)をbackboneとして、3つの学習戦略を比較した。

実データのみ学習に使用。実データを6:2:2=760:253:254で分け、それぞれ学習、バリデーション、テストに使用する。ミニバッチは8で、100epoch学習。
人工データのみ学習に使用。90%を学習、残り10%をバリデーションに使用し、テストは戦略1と同じ。ミニバッチは4で、GPUを8個用意し10epoch学習。
戦略2で学習したモデルを、760個からサンプルした実データでファインチューニング。ミニバッチは8で、30epoch学習。

評価

それぞれ5回繰り返して平均をとって精度を算出。表3左のmAPはIoU[0.5:0.95]の平均であることに注意。

また、人工データを増やしていった場合の精度比較も実施。

まとめ・感想

人工データで学習後、実データでのファインチューニングは必須に思える。
人口データを増やしすぎてもあまり効果はなさそう。実データが少ないとむしろ悪影響？
ランダマイザーの拡張自体は容易だが、そもそもUnityに癖があって初心者はむしろUnityにとっつきにくい。