1. 概要

データセット内で頻度が非常に偏った分布を持つ複雑さの指標のことをLong-tailed Complexityと呼ぶ。偏りのあるデータでは学習時に見たことのない例が推論時に現れることがあり、これをOOD(Out-of-Distribution)と呼ぶ。例えば、医用画像のセグメンテーションではLong-tailed Complexityが顕著で、このデータカテゴリごとの複雑さとOODが比較的珍しい疾患の解明に役立つため、臨床研究で重要となっている。この研究では、OODが現れたときに学習しているデータ(Inliers)に疑似的に近づけて病変画像のセグメンテーションができるようにした。

2. 新規性

学習していない稀な病変や見たことのない病変の位置をピクセル単位で特定するOOD Localizationを提案している。検出対象である病変について、OODとInliersとの画像上の差は、背景との差に比べて圧倒的に小さいことを利用し、前景である病変と背景との境界を検出するための損失関数を用いて実現している。

3. 実現方法

セマンティックセグメンテーションでクエリ単位でどのクラスに属するか予測するMask Transformerをベースに使用しており、クエリには学習した病変の分布の重心の代表ベクトルが用いられている。こうすることで、セグメンテーションタスクをクラス分類問題に挿げ替えている。
また、損失関数としてQuery Distribution Lossを提案しており、学習した病変の代表ベクトルを調整しながら前景・背景の境界線を拾い出す機能を実現している。

4. 結果

膵臓と肝臓の腫瘍を撮影したデータセットでセグメンテーションスコアを評価しており、AUROCで平均7.39%、AUPRで平均14.69%、FPR95で平均13.79%の性能向上を達成した。

Paper URL: https://openaccess.thecvf.com/content/CVPR2023/papers/Yuan_Devil_Is_in_the_Queries_Advancing_Mask_Transformers_for_Real-World_CVPR_2023_paper.pdf

last updates: July 11 2023