以前の記事でオートエンコーダによる異常検知は古い！と書いてしまいましたが、
最近は進化しているようです。
今回ご紹介する論文は、損失関数を工夫することで通常のオートエンコーダよりも
異常検知能力を上げる手法です。
※本稿の図は論文（Improving Unsupervised Defect Segmentation by Applying Structural Similarity To Autoencoders）より引用しています。
#論文の概要
- 通常のオートエンコーダによる異常検知は、微小な異常は捉えられない。
- そこで、一枚の画像に対し小さな枠を用意して「輝度」、「コントラスト」、「構造情報」の類似度を計算して異常検知を行う。
- 本手法を使うことで、通常のオートエンコーダやVAEの異常検知と比べて、AUCで大幅な向上が見られた。
- 異常部分の可視化についても、通常のオートエンコーダよりも優れていた。
#オートエンコーダによる異常検知
上の図はオートエンコーダによる異常検知を説明した図です。
異常検知の手順は以下のとおりです。（上段の図を見ていただくと分かりやすいです。）
- まず、元画像をオートエンコーダに渡し、再構築画像(Reconstruction)を得ます。
- そして、再構築画像と元画像の差をとって差分画像(Residual Map)を得ます。
- 最後に差分画像で数値が大きいところを色付け(Segmentation)します。
通常のオートエンコーダによる異常検知は、損失関数が以下の式になっています。
論文では、これを$l_2-Autoencoder$と呼んでいます。
ところが、上図の上段のように可視化がうまくいっていません。
そして、後述するように異常検知のスコアも今一つといったところです。
そこで、論文ではSSIMという指標を使って損失関数を変更しています。
SSIMを使うと、上図の下段のように可視化がうまくいっています。
##SSIM オートエンコーダ
SSIMは、2004年に提唱された画像の類似度を測る指標です。
いま、pとqという画像があるとしてSSIMは以下の式で与えられます。
ただし、$l$は輝度、cはコントラスト、sは構造情報です。
$l,c,s$は次で定義されます。
ここで、$\mu_p,\mu_q$は画像の平均強さ、$\sigma_p^2,\sigma_q^2$は画像の分散、$\sigma_{pq}$は画像p,qの共分散です。
パラメーターは以下の値を使っています。
\alpha=\beta=\gamma=1\\
c_1=0.01\\
c_2=0.03
まとめると、SSIMは以下の式になります。
式（8）は微分可能で、オートエンコーダの損失関数に組み込めます。
#謎の後処理
ここまでは理解できたのですが、差分画像を得たあとに、SSIMでは
謎の後処理が入っています。
上図のように、差分画像の白い部分がそのまま色付けされているわけではなく、
ノイズを消してから色付けされています。論文中では以下の記載があります。
An opening with a circular structuring element of diameter 4 is applied as a morphological post-processing to delete outlier regions that are only a few pixels wide (Steger et al., 2018).
推察するに、「数ピクセルしかない異常部分を消すために直径4のフィルターの
ようなものを適用した」らしいのですが、参考文献が書籍のため、調査することが
できませんでした。（力及ばず、残念。）
#実験
実験条件は以下のとおりです。
- 元画像は512 x 512で256 x 256に圧縮し、128 x 128でランダムに画像を切り取る
- 上記の手法で正常画像10000枚を採取
- SSIMを適用する画像のサイズは11 x 11
- 最適化手法はAdam（パラメーターは初期値）を使用
下の表は今回使用したエンコーダの構造を示しています。
デコーダはエンコーダと逆の構造です。
下の図は異なるデータセット(a),(b),(c)を使って異常検知したときの
AUCを示しています。
ご覧のとおり、AE(SSIM)（赤線）が圧倒的な性能を示しており、うまく機能している
ことが分かります。
下の図は異常部分の色付けを示しています。
ご覧のとおり、SSIMだと過不足なく可視化ができています。
下の表はパラメータを変えたときのAUCを示しています。
パラメータ変更によるAUCの変動は少なく、パラメータの探索はあまり必要ないようです。
#感想
- 可視化がきれいに行われていて現場で非常に役立ちそうです。
- 本当は、本手法を実装して「metric learningによる異常検知」と比較してみたかったのですが、謎の後処理があり断念しました。
- 論文で使われているデータセットもリンク切れになっている模様？
次回は「最新の異常検知データセット」を使って、SSIM vs metric learningの精度対決を行います。