はじめに
今年５月にarXivにあがった以下の論文
[1] C. Jin, et. al. "Deep CT to MR Synthesis using Paired and Unpaired Data"
https://arxiv.org/abs/1805.10790
をまとめてみた。
概要
- GANを使ってCT画像からMRI画像を生成するモデル
- CTとMRIのペアがあるものと、無いものを混ぜて学習する
- ペアのないものに関してはcycle-consistencyをとる
- ペアのあるものに関しては、さらに生成したMRIとペアのMRIとの差をとる
以下の図で左からCTの元画像、生成したMRI合成画像、ペアとなるMRI画像、ペアMRIと合成MRIとの差。
[1] Figure 5 より
Architecture
CTとMRIのペアが無い場合
以下の図のように合成したMRIをdiscriminator に入れてadversarial なlossを取るのと同時に、cycle-GANごとく再合成したCT画像と元のCT画像とのcycle-consistencyをとる。
[1] Figure 3 より
CTとMRIのペアがある場合
以下の図のよう。上記のadversarial loss, cycle-consistency lossに加えてCT画像から生成したMRI画像と、CT画像のペアとなるMRI画像とのlossをとる。
ここで discriminator はどうなってるの？という疑問が生じる。
ペアの画像もペアが無い単一の画像も同じ $Dis_{MR}$ に入れてるから。
実は以下のようになっている。
[1] Figure 4 より
つまり、中央のメイン部分は共有してるが、前段部分（Extra head）と出力部分（Extra tail）は別れている。
中央部のネトワークは共有するが、入口と出口でペアあり、ペアなしで異なる仕様となっている。
objective
adversarial な loss
\begin{eqnarray}
L_{GAN} (Syn_{MR}, Dis_{MR}, I_{CT}, I_{MR}) &=& \mathbb{E}_{I_{MR} \sim p_{data} (I_{MR})} [\log Dis_{MR} (I_{MR})] \\
&=& \mathbb{E}_{I_{CT} \sim p_{data} (I_{CT})} [\log (1 - Dis_{MR} (Syn_{MR}(I_{CT})))] \\
&=& \mathbb{E}_{I_{CT}, I_{MR} \sim p_{data} (I_{CT},I_{MR})} [\log Dis_{MR} (I_{CT},I_{MR})] \\
&=& \mathbb{E}_{I_{CT} \sim p_{data} (I_{CT})} [\log (1 - Dis_{MR} (I_{CT}, Syn_{MR}(I_{CT})))] \\
\end{eqnarray}
右辺１項目と２項目はペアが無い場合。
まず１項目はrealなMRをDiscriminatorに入れた場合。２項目はCTから合成したMRをDiscriminatorに入れた場合。
３項目はrealなMRとそのペアのCTをDiscriminatorに入れた場合。４項目はCTから合成したMRとそのペアのCTとをDiscriminatorに入れた場合。
また上記の式ではnegative log-liklihoodだが、実際はペアの無い方だけLSGANのleast squares lossを使う。（ペアのある方はnegative log-likelilhoodの方がよかったらしい）
つまり以下のように修正する。
\begin{eqnarray}
L_{GAN} (Syn_{MR}, Dis_{MR}, I_{CT}, I_{MR}) &=& \mathbb{E}_{I_{MR} \sim p_{data} (I_{MR})} [(Dis_{MR}(I_{MR}) - 1)^2] \\
&=& \mathbb{E}_{I_{CT} \sim p_{data} (I_{CT})} [(Dis_{MR}(Syn_{MR}(I_{CT})))^2] \\
&=& \mathbb{E}_{I_{CT}, I_{MR} \sim p_{data} (I_{CT},I_{MR})} [\log Dis_{MR} (I_{CT},I_{MR})] \\
&=& \mathbb{E}_{I_{CT} \sim p_{data} (I_{CT})} [\log (1 - Dis_{MR} (I_{CT}, Syn_{MR}(I_{CT})))] \\
\end{eqnarray}
cycle-consistency loss
cycle-consistency loss は以下。
\begin{eqnarray}
L_{dual-cyc} (Syn_{MR}, Syn_{CT}) &=& \mathbb{E}_{I_{CT} \sim p_{data} (I_{CT})} [\| Syn_{CT} (Syn_{MR} (I_{CT})) -I_{CT} \|_1] \\
&=& \mathbb{E}_{I_{MR} \sim p_{data} (I_{MR})} [\| Syn_{MR} (Syn_{CT} (I_{MR})) -I_{MR} \|_1] \\
&=& \mathbb{E}_{I_{CT}, I_{MR} \sim p_{data} (I_{CT}, I_{MR})} [\| Syn_{CT} (Syn_{MR} (I_{CT})) -I_{CT} \|_1] \\
&=& \mathbb{E}_{I_{MR},I_{CT} \sim p_{data} (I_{MR},I_{CT})} [\| Syn_{MR} (Syn_{CT} (I_{MR})) -I_{MR} \|_1] \\
\end{eqnarray}
右辺の１、２項目がペアが無いdataに関するもので、３、４項目がペアがあるdataに関するもの。
例えば１項目はCT画像からMR画像を合成し、それからCT画像を再合成した時の、それと元の画像とのL1 loss。
ペアとのL1 loss
ペアがあるものは合成したMRとペアのMRとでL1 lossをとる。
\begin{eqnarray}
L_{L1} (Syn_{MR}, Syn_{CT}) &=& \mathbb{E}_{I_{CT}, I_{MR} \sim p_{data} (I_{CT}, I_{MR})} [\| I_{MR} - Syn_{MR} (I_{CT}) \|_1] \\
&=& \mathbb{E}_{I_{MR},I_{CT} \sim p_{data} (I_{MR},I_{CT})} [\| I_{CT} - Syn_{CT} (I_{MR}) \|_1] \\
\end{eqnarray}
objective 全体
\begin{eqnarray}
L (Syn_{MR}, Syn_{CT}, Dis_{MR}, Dis_{CT}) &=& L_{GAN} (Syn_{MR}, Dis_{MR}, I_{CT}, I_{MR}) \\
&=& L_{GAN} (Syn_{CT}, Dis_{CT}, I_{MI}, I_{CT}) \\
&=& \lambda L_{dual-cyc} (Syn_{MR}, Syn_{CT}) \\
&=& \gamma L_{L1} (Syn_{MR}, Syn_{CT}) \\
\end{eqnarray}
この目的関数を以下のmin max ゲームで解く。
Syn^{*}_{MR} = \arg \min_{Syn_{MR}, Syn_{CT}} \max_{Dis_{MR}, Dis_{CT}} L(Syn_{MR}, Syn_{CT}, Dis_{MR}, Dis_{CT})
implementation
network
合成器（generator）のネットワーク構造は[2]のpoolingなしconvして、residual block、deconvする形。
その他、活性化関数はrelu、batch norm使う。
Discriminatorではpatch GAN（もしくはpix2pix）[3]ごとくNxN patchでlossをとる。
optimizerなど
- 最適化手法はAdam（learning rateは $2.0 \times 10^{-4}$ からはじめ減少させる）
- 目的関数のハイパーパラーメータは $\lambda = 10$ 、 $\gamma = 100$ 。
data augmentation
- horizontally flipping
- randomly cropped to 256x256 from 286x286
- rotated by $r \in [-5, 5]$ degrees
Metrics
以下の２種類でMRの合成を評価する。
mean absolute error
ペアのある画像に関して、L1 normで評価。
MAE = \frac{1}{N} \sum_{i=0}^{N-1} \| I_{MR} (i) - Syn_{MR} (I_{CT} (i)) \|
N はvoxel方向の数。つまりvoxel方向に平均をとる。
peak-signal-to-noise-ratio
また以下のpeak-signal-to-noise-ratio (PSNR) も用いる。
PSNR = 10 \dot \log_{10} \left( \frac{MAX^2}{MSE} \right) \\
MSE = \frac{1}{N} \sum_{i=0}^{N-1} ( I_{MR} (i) - Syn_{MR} (I_{CT} (i)) )^2
ただし $MAX = 255$ 。
まず２つ目の式でmean sqared errorを求める。これはvoxel内での平均的な合成MRとペアのMRとの差と考えられる。
これとmaximumな値との比率を１式で求める。
reference
[2] J. Johnson, et. al. "Perceptual losses for real-time style transfer and super-resolution"
[3] I. Zhu, et. al. "Image-To-Image Translation With Conditional Adversarial Networks" CVPR
書きかけ