はじめに

ちょっと古いがGANsを用いたCT画像の生成タスクに関する先駆けとして、以下の論文をまとめてみる。
[1] D. Nie, et. al. "Medical Image Synthesis with Context-Aware Generative Adversarial Networks"

一言で言うと

GANsを階層的に繋げたモデルでMRI画像からCT画像を生成させた

[1]のFigure 1より
左のMRIから右のCT画像を生成する

１層のGANs部分は以下のようなモデル。

左から見ていくと、GeneratorにMRIを入れ、CTを生成させる。それをreal CTと比較しlossを計算する。

一方で生成したCT画像、および real CT画像をDiscriminatorに入れ、realかgeneratedかを判定させる。

ベーシックなGANsの形。

この論文ではACM(Auto-Context model)と呼ぶ多層な形を取り入れる。以下の図

のようにgeneratorを多層にする。

DiscriminatorのlossはノーマルなGANごとく以下のadversarialなもののみ。

L_D = L_{bce}(D(x), 1)+L_{bce}(D(G(x)),0)

$L_{bce}$ はbinary cross entropy。

generatorはadversarialなlossにreconstruction error等を加えたもの。

L_G = \lambda_1 L_{bce}(D(G(x)), 1) + \lambda_2 \| Y - G(x)\|^2_2 + \lambda_3 L_{gdl}(X,Y)

最後の項 $L_{gdl}$ はgradient difference lossで

L_{gdl} = | |\nabla Y_x | - |\nabla \hat{Y}_x | |^2 + | |\nabla Y_y | - |\nabla \hat{Y}_y | |^2 + | |\nabla Y_z | - |\nabla \hat{Y}_z | |^2

と勾配の差をとる。

かきかけ