概要
土木の分野では、エラー取り（異常検知）はよく行われます。時系列データから異常検知を行う際は、画像に変換してからAIを使う場合が多く見受けられます。異常検知においても、判断根拠の可視化は必要だと考えています。
画像分類において、判断根拠の可視化の方法として、GradCamが知られているが、VAE（変分オートエンコーダ）の場合は、知らなかったので調べてみました。
論文は、以下を参照しました。
https://arxiv.org/pdf/1911.07389.pdf
PyTorchを使った実装は、以下があります。私は、tensorflowを使う人なのでわかりませんでした。
日本語の解説として、
があります。
VAEを使った異常検知（One-Class VAE）
簡単にMNISTを例に異常検知を説明する。手書き数字0の画像を正常とし他の手書き数字1～9の画像を異常とする。
数字0の画像のみでVAEを学習させ、数字0の画像を再構成させる。学習が上手くいけば、本来の数字0の画像とVAEによって再構成された数字0の画像の誤差は小さいはず。
そして、手書き数字1～9の画像をVAEに入力すると、数字0以外の画像は再構成されないはずなので、数字0以外の画像とVAEによって再構成された画像の誤差は大きくなり、異常だと見抜くことが出来るだろう。
あとは、適当に誤差の閾値を決め、異常かどうか決めればよい。
Attention map の作成
VAEが構築できたなら、Attention map の作成する。基本的には、ほぼGradCamと同じである。ただし、GradCamの場合は、勾配を計算する際に予想クラスの出力（1つ）が必要であるが、VAEの場合は、潜在ベクトル（全部）が必要である。
エンコーダーの最後の畳み込みレイヤーから、特徴量マップ $ A\in \mathbb{R}^{n\times h \times w}$ と潜在ベクトル $z\in \mathbb{R}^{D}$ を取得する。$n,h,w,D$ は、順にチャネル、畳み込み後の高さ・幅、潜在空間の次元である。
以下の上・下付き添え字 $k,p,q,i$ は、順にチャネル、畳み込み後の高さ・幅、潜在空間の成分を表す。
特徴量マップと潜在ベクトルから、各チャネルごとに $\alpha_k^i$ を計算する。
\alpha_k^i=\frac{1}{h}\frac{1}{w}\sum_{p=1}^{h}\sum_{q=1}^{w}\left(\frac{\partial z_i}{\partial A_k^{pq}} \right)
次に、各潜在ベクトルごとのAttention map $M^{i}$ を計算する。
M^{ipq} = \rm{Relu}\left(\sum_{k=1}^n \alpha_k^i A_k^{pq} \right)
最後に、各潜在ベクトルごとのAttention map $M^{i}$ の平均をとり、Attention map $M$ が計算される。
M^{pq} =\frac{1}{D} \sum_{i=1}^D M^{ipq}
コードは（たぶん）こんな感じになる。
# batch サイズは１であることが前提
with tf.GradientTape(persistent=True) as tape:
A,z = エンコーダーからの出力
dim = tf.shape(z)[1]
grads = [tape.gradient(z[:,i],A) for i in range(dim)]
alpha =tf.reduce_mean(grads, axis=(1,2,3))
# チャネル平均
M_i = tf.einsum('ij,klmj->iklm', alpha, A)
M_i= tf.nn.relu(map)
# 潜在空間の次元ごとに平均
M = tf.reduce_mean(M_i, axis=0)
The normal difference distribution
理想的には、正常データによって学習されて得られた潜在空間は、正規分布に従って生成されているはず。正常データを用い学習されたエンコーダーに、異常データを入力して得られた潜在空間の確率分布は、学習によって得られた正規分布とは異なるはず。正常データと異常データの差のを表す確率分布（normal difference distribution）を使い、異常データのAttention mapを作成することを考える。
以下の添え字 $x$ は正常データ、添え字 $y$ は異常データを表す。
最初に、学習されたエンコーダに正常データを代入し、潜在空間のサンプル $z$ を生成させる。多数のサンプル $z$ から、各ベクトルの成分ごとに平均 $\mu_i^x$ と分散 $\sigma_i^x$ を計算する。
次に、学習されたエンコーダに異常データを代入し、平均 $\mu_i^y$ と分散 $\sigma_i^y$ を出力する。正常データの平均 $\mu_i^x$ と分散 $\sigma_i^x$ と異常データの平均 $\mu_i^y$ と分散 $\sigma_i^y$ を使い、以下のnormal difference distribution から、潜在ベクトル $u$ を生成する。
P_{q(z_i|x) - q(z_i|y) }(u_i) = \frac{1}{\sqrt{2\pi\sigma_i^2} }\exp\left\{-\frac{(u_i -\mu_i)^2}{2\sigma_i^2} \right\}
\mu_i=\mu_i^x - \mu_i^y \ ,\ \sigma_i^2=(\sigma_i^x)^2 +(\sigma_i^y)^2
異常データのAttention mapは、潜在ベクトル $u$ を使い計算する。つまり、上記で説明したAttention map の作成方法で使われる $z$ を $u$ に変えて計算する。
normal difference distributionに関して、コードは（たぶん）こんな感じになる。
batch = tf.shape(y_mean)[0]
dim = tf.shape(y_mean)[1]
epsilon = tf.keras.backend.random_normal(shape=(batch, dim))
# 通常のVAEで使われる z
z= y_mean + tf.exp(0.5 * y_log_var) * epsilon
# normal difference distributionからサンプリングされる u
u=(x_mean-y_mean) +( tf.sqrt(x_var + tf.exp(y_log_var)) )* epsilon
検証
MNISTを使い、判断根拠の可視化を行った。手書き数字0の画像を正常データとして学習させ、他の手書き数字1～9の画像を異常データとして入力する。
通常のVAEの学習は、それなりにできている。もちろん、手書き数字0の画像のみで学習している。以下の可視化では、検証誤差が最小となった重みを使っている。
異常かどうかの判断は、入力画像と再構成画像の誤差で判断する。誤差関数は、自乗誤差が使われるかもしれないが、VAEを学習する際にクロスエントロピーを用いたので、クロスエントロピーを使うことにする。
次に、異常かどうか判断するための閾値を設定する必要がある。MNISTの訓練データ（手書き数字1～9の画像も含む）を使い、再構成誤差の値でヒストグラムを書いてみる。
青色のヒストグラムが、正常データの再構成誤差のヒストグラムであり、オレンジ色のヒストグラムが、異常データの再構成誤差のヒストグラムである。正常データの再構成誤差のヒストグラムの平均は123であり、標準偏差は30ぐらいである。
よって、異常かどうか判断するための閾値を123＋2×30とする。つまり、4σ以上のデータ（片側だけど）は、異常とみなす。
最後に、テストデータを使い異常とみなされた手書き数字1～9の画像を見ていく。3つの画像の順番は、入力画像・再構成画像・Attention map である。
まとめ
とりあえずMNISTは、それっぽくなる。