More than 3 years have passed since last update.

可視化による機械学習モデルのデバッグ

Last updated at 2021-06-26Posted at 2021-06-26

紹介する論文

Debugging Tests for Model Explanations
NIPS 2020

要約

これまでAIの説明性や可視化に関する論文はあったが、可視化がModelのバグに対して効果的かどうかを検証した論文はなかった。この論文では、3つのタイプのバグ1:Dataのバグ（学習時のラベルのミス、疑似相関）、2：modelのバグ（層の意図しない初期化や固定）、3：Test-timeのバグ（domain shift)に対して可視化によるデバッグが有効かを検証している。
結果としては、疑似相関を持ったmodelかどうかの検出には効果があるが、それ以外は効果がなかった。
また、end-userにとっての可視化の重要性も調査している。しかし、可視化の結果よりもモデルの予測の方を信頼して信頼できるモデルかを判断していることが分かった。

1.Data Contamination

1-1.疑似相関Bug

・疑似相関とは？
以下の例のように、白い雪からハスキーと判断してしまったり、青い空が映って入れば鳥と判断したりすることのように直接因果関係がないのに相関関係を持っているかのように振舞ってしまっていること。

・目的
疑似相関を持つモデルを可視化で見分けることができるか。

・方法
鳥には必ず空が映った背景の画像で学習させ、犬には必ず竹が映った背景の画像で学習することで疑似相関の関係を持たせる。
その状態で、鳥（犬）が映った画像(a1)の可視化画像（a2)と背景だけの画像(b1)の可視化画像(b2)を作る。
GT1マスク画像で(a1)をマスクした画像と(b1)の画像をマスクした画像でSSIM（構造類似性）を算出する。
（SSIM-GT1）（→構造類似性は理想的にはどれくらい下がるかを示すため）
同様にGT1マスクで(a2)画像と(b2)画像をマスクした画像のSSIMを算出する。（SSIM-GT2）
（→SSIM-GT1より値が高ければ高いほど構造類似性を持っていることを示すため）

・結果
可視化で気づくことができる。
犬が映っていなくても可視化画像にも犬が映ってしまっている。
SSIM-GT2の値はどれも高く、疑似相関を持っている。
また、PAttributionなどはSSIM-GT1に比べてSSIM-GT2は0.4も値が大きい。

1-2.ラベル間違い

・目的
可視化によって、学習時のラベルの間違いに気づくことができるかを検証

・方法
学習させる10％のラベルを反転させた。犬であるべきところを鳥ラベルに変えた。Valiationde91.7％、testで88％のaccuracyの状態。

・結果
可視化で気づくことはできない。
正しいラベルで学習した時の可視化画像と10％間違いを含む時でSSIMの値は0.73~0.99。
どの手法も高い構造類似性を示していることからラベルミスに関しては可視化は効果的ではない。

2.Model Contamination

・目的
意図せずにある層の初期化や重みの固定が発生したとき（不具合）に可視化で気づけるか？を検証

・方法
学習済みのモデルの最終層から始め、最初の層まで部分的に初期化を行ったときの可視化への影響を見る。
modelはVGG-16(畳み込み層13層+全結合層３層）

・結果
可視化で気づくことはできない。
Guided BackProp, Deconvnet, DeepTaylor, PatternNet, Pattern Attribution, and LRP-SPAFなどのBackPropagetion系の方法は最終層に近い層を初期化しても変わってSSIMが変わっていない。