はじめに
ちょっと古いがGANsを用いたCT画像の生成タスクに関する先駆けとして、以下の論文をまとめてみる。
[1] D. Nie, et. al. "Medical Image Synthesis with Context-Aware Generative Adversarial Networks"
arXivはこちら
https://arxiv.org/abs/1612.05362
一言で言うと
GANsを階層的に繋げたモデルでMRI画像からCT画像を生成させた
[1]のFigure 1より
左のMRIから右のCT画像を生成する
アーキテクチャ
１層のモデル
１層のGANs部分は以下のようなモデル。
左から見ていくと、GeneratorにMRIを入れ、CTを生成させる。それをreal CTと比較しlossを計算する。
一方で生成したCT画像、および real CT画像をDiscriminatorに入れ、realかgeneratedかを判定させる。
ベーシックなGANsの形。
多層のモデル
この論文ではACM(Auto-Context model)と呼ぶ多層な形を取り入れる。以下の図
のようにgeneratorを多層にする。
目的関数
Discriminatorのloss
DiscriminatorのlossはノーマルなGANごとく以下のadversarialなもののみ。
L_D = L_{bce}(D(x), 1)+L_{bce}(D(G(x)),0)
$L_{bce}$ はbinary cross entropy。
Generatorのloss
generatorはadversarialなlossにreconstruction error等を加えたもの。
L_G = \lambda_1 L_{bce}(D(G(x)), 1) + \lambda_2 \| Y - G(x)\|^2_2 + \lambda_3 L_{gdl}(X,Y)
最後の項 $L_{gdl}$ はgradient difference lossで
L_{gdl} = | |\nabla Y_x | - |\nabla \hat{Y}_x | |^2 + | |\nabla Y_y | - |\nabla \hat{Y}_y | |^2 + | |\nabla Y_z | - |\nabla \hat{Y}_z | |^2
と勾配の差をとる。
かきかけ