インフォメーション
母語が日本語じゃないので、変な日本語で論文をまとめようと思います。
どうぞよろしくお願いいたします。
モチベーション
1.大規模モデルをそのまま医療分野に使えない。
近年Large-scale Vision-Language modelsの研究が盛んでいる。Vision-text pre-trainingを用いて、ゼロショットにしても高い性能が発揮できる。当然、医療にも使いたいですが、二つの問題点がある。一つ目が医療データ量が少ない、二つ目が医療分野の特殊性である。（「車や犬など」と「がんや炎症細胞など」の区別が全然違う）
2.医療AIの研究が主にテキスト分析のみ
→そのため、この論文が自由形式の質問（open-ended questions）に対応可能な新型対話式医療Vision-language model[XrayGPT]を提案した。
関連研究
1.Medical Chatbot
Chatdoctor (Li et al., 2023) [LLaMA model]
MedAlpaca (Han et al., 2023)[Based on LLM’s and finetuned on specific medical instructions]
PMC-LLaMA (Wu et al.,2023)[Based on LLM’s and finetuned on specific medical instructions]
DoctorGLM (Xiong et al., 2023)[Based on LLM’s and finetuned on specific medical instructions]
2.Large Language Vision Models(LLVM)
Image captioning
Visual question answering (Bazi et al., 2023; Liu et al.,2023; Muhammad Maaz and Khan, 2023)
Image generation (Zhang and Agrawala, 2023).
Method
事前準備：
・A pre-trained medical vision encoder (VLM)
MedClip (Wang et al., 2022)
・A medical large language model (LLM)
Vicuna (Chiang et al., 2023).
繋がり：
①画像をVLMでencodeし、その後512次元にマッピングする（線形射影）
②A trainable linear transformation layerdで①の結果をlanguage embedding tokensに変換
③ ###Doctor: XRXQ ###Assistant: XSをLLMに入れておく。（XRが②の結果、XQが簡単な質問、XS：関連summary）
データセット：
・ MIMIC-CXR (Johnsonet al., 2019) reports：
377,110 images and 227,827 associated reports
・ OpenI (Demner-Fushman et al., 2015) reports：
6,459 images and 3,955 reports.
・ Data cleaning
gpt-3.5-turbo modelの活用
学習：
MIMIC-CXRでtrain->OpenIでtrain
以下のフォマットでLLMに入れる。
###Doctor: <Img><ImageFeature></Img> <Instruction> ###Assistant:
実験結果：
Rogue Score
GPT-based evaluation(perplexity,BLEU score,Self-BLEU score)
