LoginSignup
1
5

More than 3 years have passed since last update.

【特徴部位可視化】Grad-CAMとGuided Grad-CAMで遊んでみた♬「DLの不安定問題」

Posted at

前回の大きな問題は、
「※なぜか、上で一個だけ得たときのものはここでは二番目の候補になっていますが、このまま掲載することとします(バグがありそうですが見つけた時点で修正します)」
という問題です。

特に何か変更していないのに、結果が異なるというのはちょっと勘が働きます。

ということで原因調査してみた結果、「DLの不安定問題」という大発見をしたので、掲載しておきます(笑)
(1)オリジナル画像;論文等の画像から処理したもの
※入力画像を元画像としています。番号は予測ランキングを示します。
 モデルはmodel = VGG16(weights='imagenet')であり、なんら変更していません。

元画像
cat_dog 242boxer 243bull_mastiff 282tiger_cat 292tiger 246Great_Dane
cat_dog.png gradcam242boxercat_dog.png.jpg gradcam243bull_mastiffcat_dog.png.jpg gradcam282tiger_catcat_dog.png.jpg gradcam292tigercat_dog.png.jpg gradcam246Great_Danecat_dog.png.jpg
cat_dog.png guided_gradcam242boxercat_dog.png.jpg guided_gradcam243bull_mastiffcat_dog.png.jpg guided_gradcam282tiger_catcat_dog.png.jpg guided_gradcam282tiger_catcat_dog.png.jpg guided_gradcam292tigercat_dog.png.jpg

(2)ダウンロード画像;ウワンの記事からダウンロードしてそのまま利用
※ちょっとフチがあります

元画像
dog_cat 243bull_mastiff 242boxer 292tiger 246Great_Dane 247Saint_Bernard
dog_cat.png gradcam243bull_mastiffdog_cat.png.jpg gradcam242boxerdog_cat.png.jpg gradcam292tigerdog_cat.png.jpg gradcam246Great_Danedog_cat.png.jpg gradcam247Saint_Bernarddog_cat.png.jpg
dog_cat.png guided_gradcam243bull_mastiffdog_cat.png.jpg guided_gradcam242boxerdog_cat.png.jpg guided_gradcam292tigerdog_cat.png.jpg guided_gradcam246Great_Danedog_cat.png.jpg guided_gradcam247Saint_Bernarddog_cat.png.jpg

(3)フチなし画像;(2)の画像のフチを処理してフチなしにしたもの

元画像
dog_cat_noframe 242boxer 243bull_mastiff 246Great_Dane 292tiger 247Saint_Bernard
dog_cat_noframe.png gradcam242boxerdog_cat_noframe.png.jpg gradcam243bull_mastiffdog_cat_noframe.png.jpg gradcam246Great_Danedog_cat_noframe.png.jpg gradcam292tigerdog_cat_noframe.png.jpg gradcam247Saint_Bernarddog_cat_noframe.png.jpg
dog_cat_noframe.png guided_gradcam242boxerdog_cat_noframe.png.jpg guided_gradcam243bull_mastiffdog_cat_noframe.png.jpg guided_gradcam246Great_Danedog_cat_noframe.png.jpg guided_gradcam292tigerdog_cat_noframe.png.jpg guided_gradcam247Saint_Bernarddog_cat_noframe.png.jpg

(4)フチあり画像;(2)の画像にさらにフチを広げたもの

元画像
dog_cat_Bigframe 163bloodhounddog 166Walker_hounddog 246Great_Dane 161basset 167English_foxhound
dog_cat_Bigframe.png gradcam163bloodhounddog_cat_Bigframe.png.jpg gradcam166Walker_hounddog_cat_Bigframe.png.jpg gradcam246Great_Danedog_cat_Bigframe.png.jpg gradcam161bassetdog_cat_Bigframe.png.jpg gradcam167English_foxhounddog_cat_Bigframe.png.jpg
dog_cat_Bigframe.png guided_gradcam163bloodhounddog_cat_Bigframe.png.jpg guided_gradcam166Walker_hounddog_cat_Bigframe.png.jpg guided_gradcam246Great_Danedog_cat_Bigframe.png.jpg guided_gradcam161bassetdog_cat_Bigframe.png.jpg guided_gradcam167English_foxhounddog_cat_Bigframe.png.jpg

同じ画像にフチがあるか無いか程度の差で予測が異なっています。
ただし、Grad-CAMやGuided-Grad-CAMの絵はそれほど大きく変わっているわけではなく、そうなんだろうという程度の結果を出力しています。
つまり、元々カテゴリが近すぎて、混在しやすいというリスクがあるものと想像できます。
この辺りは、まだまだ研究が必要だと思います。
「DLといえども、ほどほどなカテゴリ数なり、特徴が異なるカテゴリでの適用が無難なのかもしれません」

まとめ

・バグだと思っていたが、「DLの不安定問題」という結論でした
・入力画像のちょっとした違いにより、同じ画像も異なった分類をする危険性があることが判明

・騙しとの関連で、カテゴリ間類似性の問題をさらに研究する必要がある
・「DLといえども、ほどほどなカテゴリ数なり、特徴が異なるカテゴリでの適用が無難なのかもしれません」⇒容認できる(誤答しない)基準が必要なので目安を見つけたいと思う

1
5
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
5