ディープラーニングを使った異常検知が進歩していますが、最新情報を追うのが大変です。
ここでは、最新情報をまとめておきます（随時更新）。

本稿では、以下の内容を記します。

ディープラーニングを使った異常検知について、簡単に歴史をまとめます。
最新の手法（2019年当時）について、ベンチマークを行います。

#歴史

完全に独断と偏見で作った歴史です。
全ての論文は読めていないので、ご了承ください。

##【～2017年】オートエンコーダによる異常検知

オートエンコーダによる異常検知
2、3年前はオートエンコーダによる異常検知が主流でした。オートエンコーダでは、元画像と再構築画像との差をとって、その和が大きいとき異常と認識させています。Qiitaの記事でも、オートエンコーダによる異常検知はたくさんありますので、気になる人は探してみてください。
Variational AutoEocoder（VAE）による異常検知（その1）
VAEはオートエンコーダを確率的に扱えるようにしたものです。従って、確率的にあり得るかどうか判定できるため、オートエンコーダよりも異常検知性能が良いとされています。
VAEによる異常検知（その2）
VAEを異常検知に使った場合、「頻出画像と似た構図のもの」は異常と見なされにくい傾向がありました。上記の論文では、損失関数の一部を取り出し、頻出であろうがなかろうが異常を見つけることに成功しています。

##【2018年】特徴抽出器による異常検知

DOCは画期的な手法で、ディープラーニングを特徴抽出器として使うことで
データ（画像）に含まれる特徴をある部分に固めてしまう手法です。

個人的には、「ディープラーニングによる異常検知は実戦で十分使える！」と
感動を覚えました。

##【2019年】metric learning（距離学習）による異常検知

metric learningは、似たもの同士を固めてプロットする学習方法です。
ディープラーニングの分野で注目を浴び始めたのは、FaceNetが登場した
頃からだと思います。

metric learningは、本来、異常検知のために開発されたものではありません。
特に、FaceNetは人の同定（同一人物かどうか判定）を行うために開発されました。

metric learningの考え方は、nクラスで学習させたモデルがあったとして、n+1クラス目が
出てきたときに再学習させるのは非常に非効率です。そこで、似たもの同士を固めてプロット
しておけば、新たなn+1クラスのデータは既存のnクラスとは全然違う位置にプロットされる
ので、再学習は必要ないというものです。

この考え方は異常検知でも有効で、正常データで学習させたmetric learningのモデルに
異常データを入れると、正常データとは違う場所にプロットされるはずです。従って、
異常検知が可能になる仕組みです。

※metric learningを使った異常検知について、以下の記事が非常に参考になります。

##【2020年】ハイブリッド
最近の手法は、オートエンコーダやGAN、metric learningなどを組み合わせたものが
多くなってきています。組み合わせることにより、それぞれの長所を伸ばし、短所を
補うことが可能になります。

SSIMオートエンコーダによる異常検知
オートエンコーダによる異常検知は、細かい異常部分を捉えることが難しいと言われています。
そこで、SSIMという画像類似度を測る指標を併用することで、細かい異常部分を捉える
ことに成功したのがSSIMオートエンコーダです。2018年に登場した手法で、オートエンコーダ
による異常検知の性能を大幅に上回りました。（metirc learningと対決させた記事はこちら）
弱教師あり学習
異常検知の実際の運用を考えた場合、「異常データ」を少数持っている場合が想定されます。
弱教師あり学習は、そのような少数の異常データを活用することで、異常検知性能を底上げ
する手法です。（効果が薄いという報告も多数あります(^^；。）
自己教師あり学習（←これがおススメ！）
工業製品で起こりうる異常は、細かな傷や変色が多いと予想されます。自己教師あり学習では
このような細かな異常を人為的に作り出し、metric learningで学習することにより、高精度な
異常の検出と可視化を可能にしました。（※こちらも参考になれば幸いです。）
デュアルオートエンコーダ
GANによる異常検知も登場していますが、GANを使いこなすのが難しいため、なかなかスコアが
伸びませんでした。この手法はオートエンコーダを二つ用意することで、GANの不安定性を
補完した論文です。（~~いずれ、Qiitaでも記事を書く予定です。~~再現しなかったため、断念しました）
距離学習と幾何変換による異常検知
正常画像を幾何変換（例えば90度回転）させて学習し、テスト画像でも幾何変換して、それが当てられる
かで正常/異常を見分ける手法が、過去に提案されています。（詳細はこちらを参照）ここで紹介する
手法は、幾何変換だけではなく、距離学習と組み合わせて、さらに精度を上げた手法です。
CIFAR10でSOTA。この手法は画像だけではなくテーブルデータにも適用可能で、いくつかの
データセットでSOTAを達成しています。

##【決定版？】EfficientNetを使った異常検知手法
ImageNetで学習したEfficientNetを使った異常検知手法です。「正常画像は各層で出てくる
特徴も同じはず」という仮定で考えると、正常画像では各層の特徴で固まりができます。
その固まりからのマハラノビス距離で異常かどうか判定します。異常は正常にはない特徴を
持っているため、マハラノビス距離が大きくなります。更に、固有値の小さい方からのPCAを
適用することで、性能を上げることができます。

簡単な解説は以下に書きました。
https://qiita.com/shinmura0/items/5f2c363812f7cdcc8771

##可視化

AnoGAN
AnoGANはGANの表現力を頼りに異常検知する手法です。
可視化だけではなく、異常スコアの算出もできます。
Ano-Unet V2
Ano-Unet V2は、metric learningやオートエンコーダに後付け可能な可視化専用の
ネットワークです。Ano-Unetに対し、推論の高速化とハイパラの調整不要を行い、
さらに使いやすくしたものです。
学習済EfficientNetを使った異常検知手法の可視化
決定版ともいえる「学習済EfficientNetを使った異常検知手法」の可視化です。
テクスチャー系に強く、オブジェクト系には弱いです。

#ベンチマーク
ここからは、2019年当時、最新だったmetric learningなどのベンチマークを行います。

DOC
L2-SoftmaxLoss
ArcFace

コード全体はこちら

##条件

DOCのepochは5、最適化手法はSGD
metric learningのepochは10、最適化手法はAdam
バッチサイズは128
ベースモデルはMobileNet V2（学習済モデルを使用、つまり転移学習）
DOCとL2-SoftmaxLossの異常スコアはLOFで算出
それぞれのモデルで10回試行してAUCを算出
データはFashion-MNISTとcifar-10を使用

＜Fashion-MNIST＞
データの内訳は以下のとおりです。
正常は「スニーカー」、異常は「ブーツ」。

	個数	クラス数	備考
学習用リファレンスデータ	8000	8	スニーカーとブーツを除く
学習用正常データ	1000	1	スニーカー
テストデータ（正常）	1000	1	スニーカー
テストデータ（異常）	1000	1	ブーツ

※学習用リファレンスデータとは、学習用正常データと見比べるためのデータです。

＜cifar-10＞
データの内訳は以下のとおりです。
正常は「鹿」、異常は「馬」。

	個数	クラス数	備考
学習用リファレンスデータ	8000	8	鹿と馬を除く
学習用正常データ	1000	1	鹿
テストデータ（正常）	1000	1	鹿
テストデータ（異常）	1000	1	馬

##実装
コード全体はこちら

DOC
実装はこちらを参考にしてください。
L2-Softmax-Loss
異常検知ではありませんが、こちらで実装しています。
ArcFace
実装は、こちらを参考に（ほとんどコピー）させていただきました。

##結果

Fashion MNISTの結果

L2-SoftmaxLossとArcFaceが良いスコアを示しました。
やはり、距離学習による異常検知は性能が良いようです。

中央値が重なって見づらいですが、DOCとの差は中央値で0.05ポイント
（全体の精度は10%くらい？）の差が出ています。

L2-SoftmaxLossは、以前の結果と食い違っていますが、以前は
データ数も少なく、最適化手法のlrも違う値でした。

cifar-10の結果

こちらも、L2-SoftmaxLossとArcFaceが良いスコアになりました。

DOCとの差はさらに大きくなっています。

#metric learningの可能性
metric learningは異常検知性能が良いことが分かりました。
さらに、様々な可能性を秘めています。

「異常検知」と「クラス分類」を同時に実行
metric learningは元々、分類タスクを行うことができます。こちらのArcFaceの事例では、
ペットボトルの種類を分類しながら、コサイン類似度が小さい場合は、学習していない
未知のものと見なしています。これはArcFaceに限らず、metric learning全般で行うことが
できます。つまり、「metric learningでは、異常検知を行いつつ、同時にクラス分類もできる」
ということです。個人的に、これは衝撃的な内容でした。
異常データの分類
これはやっていないので、推測の域を出ませんが、ImageNetなどの画像で学習させた
metric learningのモデルでは、全く見たことがない異常のデータを弾き、かつ異常
モードを特定することができると思われます。例えば、ある製品を画像検査するときに、
「傷」「へこみ」「変色」などの異常画像を弾きつつ、それぞれ異常の種類に応じて、
クラスタリングすることも可能になると思われます。つまり、「異常検知を行いつつ、
同時に異常モードが特定できる（再学習不要）」ということです。cifar-10の画像で
ここまでできるかどうか分かりませんが、夢がかなり広がります。

まとめると、metric learningは異常検知性能も良いし、クラス分類もできるし、
異常モードの特定もできる凄いヤツ。

つまり、**metric learningは最強！**ということです。

#画像以外のデータへの適用
現在、画像以外のデータを分析しています。

今までは、非ディープラーニングベースでしたが、ディープなL2-SoftmaxLossを使って
異常検知することで、AUCが0.1ポイント（全体の精度は10％）向上しました。
ちなみに、ここでもArcFaceよりL2-SoftmaxLossの方が良い性能を示しました。

ディープラーニングは画像以外のデータでも効果があります。

（8/7追記）
上記のモデル、さらに、アンサンブルをとることでAUCが累計0.25ポイント（全体の
精度は20％）向上しました。ディープ×アンサンブルはやってみる価値あります。
処理は重くなりますが。

#まとめ

現在（2019年当時）、ディープラーニングによる異常検知で一番性能が良いのはmetric learning
metric learningは異常検知のみならず、様々な可能性を秘めている
ディープラーニングによる異常検知は、画像以外のデータでも有効

#更新履歴
2019/8/6　初稿
2019/9/7　SSIMオートエンコーダ・黒魔術・metric learningのリンク追加
2019/10/11　自己教師あり学習・Ano-Unet V2のリンク追加
2019/11/11　コードのバグ修正・AUCの結果を差し替え
2020/2/17　黒魔術削除、弱教師あり学習・デュアルオートエンコーダを追記
2020/5/18　デュアルオートエンコーダを修正、幾何変換による異常検知を追記
2021/3/10　学習済EfficientNetによる異常検知手法を追加