はじめに

近々CVPR2018で発表される以下の論文
Translating and Segmenting Multimodal Medical Volumes with Cycle- and Shape-Consistency Generative Adversarial Network
https://arxiv.org/abs/1802.09655
を勝手に実装しました。

コードはこちらにupしました
https://github.com/masataka46/Cycle-Shape-GAN-chainer

論文の解説はこちらにupしました
https://qiita.com/masataka46/items/fecb526e7b223585db6a

実装のポイント

Cycle-GANとの比較で言うと、生成された画像に対してSegmentを行うSegmentorを加えただけ。

問題設定

ネット上でセグメントされたannotation付きのMRIやCTが見つからなかったため、CityScapeのデータセットを使って以下のような問題設定にした

CityScapeのデータのうち、夏っぽくて快晴の画像３００枚程度をX、秋っぽくて雨または曇りの画像３００枚程度をYとして、XからY、YからXを生成させる
XからYを生成させる$G_Y$は画像を秋でどんよりしたものに変換させることを目指し、YからXを生成させる$G_X$は画像を夏で晴れやかな天気に変換させることを目指す
同時にshape consistencyの効果として、変換させた画像の幾何学的な位置関係が元の画像と同じであることを目指す

実験と結果

Shape consistencyの効果を見るために、

CityScapeのデータとcycle-GAN的なモデル
上記モデルにSegmentorを加えたモデル

の２つで比較実験を行なった。

まず 1. のcycle-GANモデルでの10epoch。

左端がX、その右がXからYの生成、その右が更にそれからXの生成。

左から4列目がY、その右がYからXの生成、その右が更にそれからYの生成。

一方で2. のcycle-shape-GANでの10epoch

たかだか10epochでもどんよりが晴れやかに、晴れやかがどんよりに変換されてる。さらに元の幾何学的関係も維持されている。

タスクが簡単過ぎたかな〜。