#3Dのconditional GANを用いた、物体検知のためのCT画像データ増強
#何の記事？？？
Synthesizing Diverse Lung Nodules Wherever Massively:
3D Multi-Conditional GAN-based CT Image Augmentation for Object Detection
(https://arxiv.org/pdf/1906.04962.pdf)
という論文をまとめたものです。
医療用のDA(Data Augmuntation)を3Dconditinal GANで実装しようと言う話です。
莫大な数のアノテーションされた画像データを使って訓練することで物質検知の性能が上がり、医療現場ではこの物質検知を利用した診断をすることで、診断ミスを減らせるよね！でも、大量のデータを手に入れるのって難しいよね...(特に医療分野)
###じゃあ人工的につくっちゃえばええやん
と言うのが、この論文のData Augmentationのモチベ。もっと知りたい方は、この記事がわかりやすいです。
##Abstract
・今回、肺CT画像上に自然に生成された32×32×32の結節画像を多様に生成することで、３次元物体検出の感度を向上させることが目的である。
・提案手法は3D Multi-Conditional GANである。
・MC GANでは二つの識別器を用いる。
・一つ目context discriminatorは、ノイズボックスを中心とした周辺情報を条件として、実物と偽物+周辺情報の識別を学習する。（pix2pixみたいな感じ？）
・二つ目nodule discriminatorは、サイズと希薄度を条件として、本物の結節と偽物の結節の識別を学習する。
・結果として、3MCGANによって生成した3D画像を用いることで、3DCNNベースの検出はより高い感度を達成することができた。
・実際に、現場に立っている医師でも見分けることができないクオリティで生成できている。
##Intoroduction
・従来の幾何学的（回転とかスライドとか）なDAだと、増強されるデータが下のデータと似通ってしまい、真の画像の分布を十分にはカバーできない
・GANを用いると、実にrealだけど全く新しいデータを生成でき、これにより物体検知の性能の大幅な上昇を期待できる（21％精度が上昇したと言う結果もある）
・本研究では、bounding-boxによる3D物体検出データを補強するために、3D conditional GANをベースとしたDAを行う。これにより、セマンティックセグメンテーションに比べて、医師のアノテーションコストが大幅に下がる。
・肺結節は、position/size/attenuationにより異なるので、CNNのロブスタネスを向上させるため、条件によって損失関数が異なる二つの識別器を導入した。
・3Dセグメンテーションよりアノテーションコストが大幅に低い
以下ちょっとサボって（と言うか英語の方がわかりやすそうなので）、原文そのままです。
（reconstruction lossとは、GANベースのDAのほとんどが、画像を生成する時に用いている損失関数のこと。本当にDAに対して効果があるのかは検証されていない。多様性を犠牲にして元画像と似た合成画像を保証するものである。）
・研究をやる上での問い
#####1. 3D Multiple GAN Conditioning: How can we condition 3D GANs to naturally place objects of random shape, unlike rigorous segmentation, at desired position/size/attenuation based on bounding box masks?
#####2. : How can we set the number of real/synthetic training data and GAN loss
・研究結果
#####1.3D Multi-conditional Image Generation: This first multi-conditional pathological image generation approach shows that 3D MCGAN can generate realistic and diverse nodules placed naturally on lung CT at desired position/size/attenuation, which even expert physicians cannot distinguish from real ones.
2.Misdiagnosis Prevention: This first GAN-based DA method available for any 3D object detector allows to boost sensitivity at fixed FP rates in CAD with limited medical images/annotation.
#####3. This study implies thattraining GANs without reconstruct loss and using proper augmentation ratio (i.e., 1 : 1) may boost CNN-based detection performance with higher sensitivity and less FPs in medical imaging.
##Methods
ここは細かいので、詳しく知りたい方は論文を読んでください...
ポイントは、
・reconstruction lossを使うか使わないかで場合わけ
・conditionとして、sizeとattenuationの二つを使用
・識別器が二つある
・context discriminatorは、周辺組織を含めて、本物画像と合成画像を識別
・nodule discriminatorは、肺結節だけに関して、本物画像と合成画像を識別
・相互に相補的な損失関数を持つ複数の識別器から得られるGANは一般的に多様な画像を生成できる（らしい）
です。
あとは3DMCGANのアーキテクチャだけ引用して貼っときます。
https://arxiv.org/pdf/1906.04962.pdf
##Results
###1. 3D MCGANによって生成された肺結節
様々な位置/サイズ/希薄度で、ノイズボックス内に本物のような肺結節を生成できた、これらは周辺組織と自然に調和している。特に、reconstruction lossなしで訓練させた時に元画像と大きく異なる画像ができた。
###2. 肺結節検知の結果
・サイズ大きいほど、そしてより希薄度が低いほど、明瞭なので、肺結節の検知が容易であった。
・おそらく本物の画像と合成画像のバランスのためだと考えられるが、ある一定以上の合成画像を加えると逆に検知の精度が落ちてしまう
・さらにreconstruction lossを取り入れて本物により近づけた合成画像を用いた結果、reconstruction lossを用いなかった合成画像を用いた訓練に比べて低い精度となった。これはreconstruction lossを用いることで、多様性が損なわれてと考えらえる。
###3.医師による視覚チューリングテスト
・周辺組織がなしのチューリングテストの場合、医師は本物の肺結節と、合成の肺結節を見分けることができなかった。
・周辺組織がありのチューリングテストの場合、肺結節と周辺組織の微妙な影の違いから、本物と合成とを見分けることができた、これはreconstruction lossを使わなかった場合により顕著だった。
###4. T-SHE の結果（そんなに重要じゃなさそうなので軽く）
originalの画像だけではカバーできていなかった、真の画像分布を、GANで合成画像を作ることでカバーできたよねっていうお話
##conclusion
本研究で、bounding-boxベースの3D MCGANを用いることで、任意の位置/大きさ/希薄度で、リアルで多様なCT肺結節を生成し、周囲の組織に自然に溶け込ませることができた。これは相互に相補的な損失関数を持つ複数の識別器から得られるMCGANの優れた一般化能力と、サイズ/希薄度の条件付けによるもので、元のデータセットでは満たされていない実画像の分布をカバーすることができ、訓練のロバスト性を向上させることができた。
驚くことに、合祭画像を過剰に追加すると、実画像と合成画像のバランスが悪くなり、検出精度が悪くなることがわかった。
さらにGANの訓練の際、reconstruction lossを与えずに訓練を行った方が、。多様性が増してロバスト性が向上し、より良いDA性能が得られることがわかった。
全体的に、3D MCGANは、専門医の時間のかかるアノテーション作業を最小限に抑え、肺CT結節に限らず、一般的な医療データ不足を克服するのに役立つ可能性がある。
###引用文献
・https://arxiv.org/pdf/1906.04962.pdf