はじめに
ECCV2020より以下の論文のまとめ
[1] B. Biggs, et. al. Who Left the Dogs Out? 3D Animal Reconstruction with Expectation Maximization in the Loop. ECCV2020.
概要
- ネット上にあるような犬の画像から犬の3D poseおよびshapeを end-to-end で推定するモデル（SMBLDモデル）
- 学習時は新たに作成したkeypointとsegmentationのアノテーションなどを用いるが、推論時は単眼monocular画像のみ。つまり推論時の最適化処理が無い
- 3Dモデルの関節角度、shapeも学習で用いるが、shapeに関しては混合ガウス分布を仮定してEMアルゴリズムで解く
- 推論時の最適化が無いにも関わらず、最適化がある既存手法の精度を上回った
学習時
- EMアルゴリズムで学習
- 2Dのposeやシルエットを用いる
推論時
- 入力は画像のみ
- モデルフィティングのフェーズが必要ないので推論が早い
以下ではそれぞれ左側の入力画像に対して右側のような3D shapeを推定している。バニラなSMALSTモデルなどと比べて同じ犬種内の手足の長さ、尻尾の長さなどの違いを捉えている。
既存モデルとの比較
Lions and Tigers and Bears との比較
最上段の本モデルに対して、まず上から3つ目のLions and Tigers and Bears（いわゆるSMALRモデル）と比較する。
SMALRは対象動物を捉えた複数枚の画像とそのpose, シルエットからテンプレートモデルをフィッティングさせながらパラメータ調整をする。
一方で本モデルは学習時に多くの犬で学ぶため、推論時は１枚の画像からposeやshapeを推定できる。
3D-Safariとの比較
次に上から２つ目の3D-Safariモデル（いわゆるSMALSTモデル）との比較。
いずれもモデルを学習させ、それを用いて推論するが、SMALSTは推論時に複数の画像でモデルフィッティングさせる一方で、本モデルは推論時に一枚の画像を入力としてpose, shapeをforwardで推定するのみ。
推論時の流れとネットワークのアーキテクチャ
- この図で左から Input image i を入力する。
- 学習したencoder（ResNet-50など）からfeature mapを出力する
- feature mapをそれぞれ独立したモジュール（fc）に入れ、それぞれ translation, focal length, pose, shapeを出力する。
- これらのうち、pose $\theta$ と shape $\beta$ から3D model（各頂点 $F_v$）を出力する
学習時の流れと Loss
1. 3Dモデルの関節を再投影したLoss
四肢の位置を正しく学習させるため、推定した3Dモデルの関節位置 $F_J$ を画像上へ再投影し、その2D上の位置からlossを求める。
このとき、モジュールから出力された translation $t$ , focal lentgh $f$ を用いる。
\pi (F_J (\theta, \beta), t, f)
これと人がアノテーションした画像上の関節位置 $\hat{X}$ とでL2誤差を求める。
L_{joints} (\theta, \beta), t, f; \hat{X}) = \| \hat{X} - \pi (F_J (\theta, \beta), t, f) \|_2 \tag{1}
2. 3Dモデルのshapeを再投影したLoss
正確なshapeを学習させるため、推定した3D shapeを画像上へ再投影し、その2D上のシルエットからlossを求める。
2D上の推定したシルエットはモジュールから出力された translation $t$ , focal lentgh $f$ を用いて
R (F_V (\theta, \beta), t, f)
と書けるので、これと正解値 $\hat{S}$ とでL2 lossを求める。
L_{sil} (\theta, \beta, t, f; \hat{S}) = \| \hat{S} - R (F_V (\theta, \beta), t, f) \|_2 \tag{2}
3. pose prior loss
より形状をリアルにするため、アーティストが作成した3Dモデルもlossとして用いる。各関節はGauss分布を仮定し、以下のマハラノビス距離でlossを求める。
L_{pose} = (\theta, ; \mu_\theta, \Sigma_\theta) = (\theta - \mu_\theta)^T \Sigma_\theta^{-1} (\theta - \mu_\theta) \tag{3}
平均 $\mu_\theta$ は3Dモデルのそれだろうが、分散・共分散行列 $\Sigma_\theta$ をどうやって求めるかは不明。
4. shape prior loss
shapeに関してもアーティストが作成した3Dモデルを利用するが、shapeは犬種（ダックスフンド、なんとかレトリバー、etc）によって大きさが大きく違うため、通常のgaussianの過程は適合しない。よって混合Gauss分布を仮定し、EMアルゴリズムで最適化する。
L_{mixture} = (\beta, ; \mu_\beta, \Sigma_\beta, \Pi_{\beta}) = \sum^{M}_{m=1} \Pi^m_{\beta} (\beta - \mu_\beta)^T \Sigma_\beta^{-1} (\beta - \mu_\beta) \tag{5}
実験方法
データセット
新たにStanfordExtraというdatasetを作成した。これは以下のような内容
- 20,580画像に120種類の犬がin the wildの状態で写っている（下図を確認する限り、一枚に１匹である）
- 物体によるocclusionは一部にあるそうだ。下図を見る限り、他の犬と重なっているようなシーンは無い。
- annotationは下図のように骨格20点と体の周囲のsegmentionからなる。これをAmazon Mechanical Turkで実施した。
train testのsplit
- StanfordExtra datasetを80%のtrainと20%のtestに分離した
学習方法
以下の２stepで学習した
- シルエットlossを省いた学習。学習初期にこれがあると局所解に陥るらしい。またデザイナーが作成した3D keypointを用い、EMアルゴリズムは用いない。これで250epoch学習
- 諸々用いてEMアルゴリズムで学習。これを50epoch。
結果
メトリクス
メトリクスは以下の２つ
- annotationされたsegmentationと推論したシルエットでIoUを計算
- annotationされたkeypointと推論されたkeypointでPCKを計算
比較対象
- SMALモデルを提案した論文の手法（下図では 3D-Mと表記）
- 論文[2]の手法（下図では CGASと表記）
定量的評価
既存手法より精度がよい。この２つの比較対象が推論時にannotationを用いたり、最適化したりすることを考えると、本手法はかなりの優位性がありそう。
一方でSMAL系の最新手法を比較対象としないなど、疑問点は残る。
定性的評価
ablation study
以下の３つをablateしたものと比較した
- EMアルゴリズムによるshapeのupdateをablate（下図中の -EM）
- EMアルゴリズムを使用する、しないに関わらず、3D shapeを用いたupdateをablate（下図中の -MoG）
- 本論文で導入したscale parameter（下図中の -Scale）
これを見るとsale parameterが特に効いているみたい
今後の課題と将来の展望
- 他の犬によるocclusionや素早く動くことによるボケが発生した場合は精度が落ちるので、これの対応が今後の課題
- 将来的にはvideoを用いて精度を上げたい
- 今回は犬のみだが、将来的には他の動物に拡張したい
個人的な感想
- １）入力画像が in the wildである、２）推論時に画像のみ入力とする、３）推論時に最適化を行わない、という点を考慮すると、かなり実用化に近づいた成果ではないか。
- 一方で先にも書いたが、精度的にはSMAL系の最新手法を比較対象としない点は気になる。
reference
[2] Biggs, B., Roddick, T., Fitzgibbon, A., Cipolla, R.: Creatures great and SMAL: Recovering the shape and motion of animals from video. In: ACCV (2018)