フューチャー Advent Calendar 2022の20日目です。
昨日は@datake914さんのモバイルアプリのフレームワーク記事でした。
はじめに
最近、画像生成AIが話題になっています。
国内ではStable Diffusionが大流行でしたが、Midjourney、Novel AI、DALL-Eなどなど。
特に、Stable Diffusionに関しては一般に無料公開されたこともあり多くの人が触れ、各種のサービスなどが生み出されました。
手元で動かして遊んでみましたが、お手軽になんどでも試せてとても楽しかったです。
(※ソシャゲのガチャを回しているような気分でとても射幸心を煽られました。。)
賛否両論あれど、技術が(特にクリエイティブ界隈)に大きなインパクトを与えたと言えると思います。
本記事では、少しスコープを広げて"画像生成AI"が、医療の分野でどのように活用される可能性があるのか考えてみました。
※主に活用に焦点を当ててるので、技術的な解説はあまりでてきません
画像生成AIとは？
今回話題になったStable Diffusionなどは、Text-to-Imageタスクに分類されるものです。
文字通りテキスト入力から画像を生成するものですね。
画像生成の他のタスクとしては、
- Image-to-Image(画像入力から画像を生成する)
- Image Inpainting(画像内の欠落領域を補完する)
- Conditional Image Generation（クラスラベルを入力として画像を生成する）
などなどがあります。定義などはさておき、本記事においてはなにかしらの入力から画像を生成するもの、として扱っていきます。
医療×画像生成AIを調べてみる
ここからは、特に医療分野における論文を調べたものをつらつら書いていきます。
(実用例がないかと調べてはみたのですが、パッと見当たらず。。知っている方いれば教えてください)
GANによる画像データ合成
GAN(Genera tive Adversarial Networks)は、生成モデルのひとつに分類されます。
一言で言うなら画像を生成できたりします(雑)。
ネットワーク構造や派生、特徴については他記事の解説が詳しいと思いますのでスルーします。
以下では、GANを用いて医療画像を生成する様々な論文を、そのタスクを中心に記載します。
Brain tumor image generation using an aggregation of GAN models with style transfer
Paper: https://www.nature.com/articles/s41598-022-12646-y
この論文では、公開されている２つの脳腫瘍データセットを学習データとして、AGGrGANというGANベースの画像生成手法を提案しています。
この手法の特徴としては。３つのGAN(レイヤーを変えたDCGAN、WGAN)で生成した３つの画像から、SSIM(２つの画像の類似度)を評価とし２つの画像を選択、合成した後に、学習済みのVGG-19ネットワークを用いてスタイル転送することで画像を生成しています。
Synthetic Medical Images from Dual Generative
Adversarial Networks
paper: https://arxiv.org/pdf/1709.01872.pdf?
こちらの論文では、2段階のGANを用いて、網膜画像とセグメンテーション画像のペアを生成しています。
１段階目のDCGANでは、セグメンテーション画像の生成。２段階目のCGANで、セグメンテーション画像から網膜画像を生成しています。
患者のプライバシーが保護されたデータセットとしての価値
さて、これらのように、GANによる医療画像の生成ができるようになると何が嬉しいのでしょうか？
どちらの論文の背景でも触れらていますが、患者のプライバシーを保護した上でデータを共有することができることは大きな着目点です。
医療画像を扱う上での既知の課題として、個人情報保護法の壁があります。
画像データの種類にもよるのですが、医療機関側で撮影した画像を他で利活用するためには、日本では大まかに以下のどちらかの対応を取らなければいけません。
- 患者本人の同意を取得すること
- 特定の個人を識別できないように匿名化すること
また、世界的にもプライバシー保護意識はむしろ強まっていることもあり、今後規制が更に厳格化するような可能性もあります。
これらは患者の保護のためには必要ですが、
一方で、希少な疾患の画像データであったり、あるいは機械学習モデルを作成する上で大量のデータを用意する上での大きな障壁になっています。
この課題に対するアプローチの一つとして、上記に上げたようなGANによる共有可能な合成データ作成は注目されており、紹介した論文以外にもいくつも研究がされている状況です。
GANによって生成された画像が本当に活用に耐えうるものなのかの議論はさておき、実用化できれば医療システムの分野全体を変えるインパクトを持った取り組みですね。
また、画像生成AIのスコープからは少し外れますが、下記の様に強化学習用の合成データセットを作成するような取り組みもあったりします。
link：https://healthgym.ai/datasets/
GitHub:https://github.com/Nic5472K/ScientificData2021_HealthGym
さらに画像生成AIのスコープから外していくと、連合学習などのアプローチも提案されてたりします。
Robust Split Federated Learning for U-shaped Medical Image Networks
https://arxiv.org/abs/2212.06378
検査画像から検査画像への変換
正直今回「画像生成AI×医療」で調べた中では、上記のようなデータ保護に活用されそうな取り組みが一番多くヒットしていましたが、その他の例をいくつか紹介していきます。
BCI: Breast Cancer Immunohistochemical Image Generation through Pyramid Pix2pix
arxiv: https://arxiv.org/pdf/2204.11425v2.pdf
GitHub: https://github.com/bupt-ai-cz/BCI
Image-to-Imageの取り組みとして、特定の病理画像から、他の病理画像へと変換するような取り組みもあります。
こちらの論文では、乳がん検査に用いられるIHC(免疫組織化学染色)の画像を、HE(ヘマトキシリン・エオジン)の画像から直接合成しようとしています。
意義としては、かなり高い検査が必要なものを、他の安価な検査で代替できるということですね。
Deep learning-based transformation of H&E stained tissues into special stains
paper: https://www.nature.com/articles/s41467-021-25221-2#auth-W__Dean-Wallace
HE染色は一般的なこともあり、乳がんだけでなく、他の病理学検査画像に変換しようという取り組みはいくつかあります。
画像の品質UP
Correction of out-of-focus microscopic images by deep learning
paper: https://www.sciencedirect.com/science/article/pii/S2001037022001192?via%3Dihub
GitHub: https://github.com/jiangdat/COMI
こちらの論文では、低コストの顕微鏡で撮影した画像は焦点があっていないことが多い、という課題をCycleGANで修正しようとしています。
まとめ
今回、Stable Diffusionを始めとした画像生成AIが医療分野にどのように活用されうるか？といったことを論文ベースでまとめてみました。
- 患者プライバシーに依存しないデータセットの公開
- 検査画像を別の検査画像へ変換
- 検査画像の品質UP
大まかには、上記となります。個人的には、GANなどを用いたデータセットの作成などは、医療データの利活用が制限されている現状のブレークスルーとなる可能性を秘めた取り組みかと考えてたりします。
蛇足
GANの活用例が多い記事となってしまいましたが、Stable Diffusionなどの背景となっているDDPM(ノイズ除去拡散確率モデル)も注目されています。これから研究例が増えていくフェーズな気がしています。
Diffusion Probabilistic Models beat GANs on Medical Images
arxiv: https://arxiv.org/abs/2212.07501
さいごに
フューチャーアドベントカレンダーも佳境、クリスマスの足音が聞こえてきました。
明日は@hikaru_watanabeさんの記事です！お楽しみに！