1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

Devil Is in the Queries: Advancing Mask Transformers for Real-World Medical Image Segmentation and Out-of-Distribution Localization

Posted at

1. 概要

データセット内で頻度が非常に偏った分布を持つ複雑さの指標のことをLong-tailed Complexityと呼ぶ。偏りのあるデータでは学習時に見たことのない例が推論時に現れることがあり、これをOOD(Out-of-Distribution)と呼ぶ。例えば、医用画像のセグメンテーションではLong-tailed Complexityが顕著で、このデータカテゴリごとの複雑さとOODが比較的珍しい疾患の解明に役立つため、臨床研究で重要となっている。この研究では、OODが現れたときに学習しているデータ(Inliers)に疑似的に近づけて病変画像のセグメンテーションができるようにした。


2. 新規性

image.png
学習していない稀な病変や見たことのない病変の位置をピクセル単位で特定するOOD Localizationを提案している。検出対象である病変について、OODとInliersとの画像上の差は、背景との差に比べて圧倒的に小さいことを利用し、前景である病変と背景との境界を検出するための損失関数を用いて実現している。


3. 実現方法

image.png
image.png
セマンティックセグメンテーションでクエリ単位でどのクラスに属するか予測するMask Transformerをベースに使用しており、クエリには学習した病変の分布の重心の代表ベクトルが用いられている。こうすることで、セグメンテーションタスクをクラス分類問題に挿げ替えている。
また、損失関数としてQuery Distribution Lossを提案しており、学習した病変の代表ベクトルを調整しながら前景・背景の境界線を拾い出す機能を実現している。


4. 結果

image.png
image.png
膵臓と肝臓の腫瘍を撮影したデータセットでセグメンテーションスコアを評価しており、AUROCで平均7.39%、AUPRで平均14.69%、FPR95で平均13.79%の性能向上を達成した。


Paper URL: https://openaccess.thecvf.com/content/CVPR2023/papers/Yuan_Devil_Is_in_the_Queries_Advancing_Mask_Transformers_for_Real-World_CVPR_2023_paper.pdf

last updates: July 11 2023

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?