Learning Causality-inspired Representation Consistency for Video Anomaly Detection

はじめに

本研究は，ACMMM 2023 に採択されたものであり，本記事では，技術的な内容についてまとめる．

Liu, Y., Xia, Z., Zhao, M., Wei, D., Wang, Y., Liu, S., ... & Song, L. (2023, October). Learning causality-inspired representation consistency for video anomaly detection. In Proceedings of the 31st ACM International Conference on Multimedia (pp. 203-212).

概要

ビデオにおける異常検知では，従来，正常なイベントの中から抽象的な時空間特徴を学習し，その分布からの逸脱を検知することで異常を検出してきたが，これらの手法は多様な正常イベントに対して信頼性が低いことに加え，過度な一般化による高い誤報率を引き起こす可能性がある．
これらの問題に対処するために，本研究は，異常イベントによって顕著な変化を示すような因果変数が存在すると仮定し，正常ビデオから直接観察可能な因果変数を暗黙的に学習し，異常イベントを検出する手法を提案する．

技術的なポイント

Causality-inspired Representation Consistency, CRC）フレームワーク

上図が，本論文で提案されるフレームワークである．
以下の流れで処理が行われる．

1. 入力されたビデオフレームから時空間特徴 ($F$) を抽出する (Feature Extractor)
2. 抽出された特徴をメモリに記録する (Memory Module)
3. メモリに保存されたプロトタイプから，特徴を共有部分の特徴（$F_s$）と独立部分の特徴（$F_p$）に分解する (Prototype Decomposer)
4. 分解された特徴を因果変数として学習する．この過程で，特徴の中から因果関係を表す変数を特定する．(Causality-inspired Characterizer)
5. 因果変数の独立性を利用して，相関行列を計算する．この相関行列により，特徴の因果的な一貫性を取得する．(Correlation Matrices)
6. 得られた因果表現をクラスタリングする．(Clustering)

Casuality-inspired Characterizer

因果関係は，上図(b)のようなモデル化を行う．「観測変数$X$と$Y$の間には，両者に因果的な影響を与え，かつそれを条件としたときに，両者を独立にする変数$Z$が存在する」として，この関係性を取得する．
これにより，上図(c)に示すように，異常イベントは因果関係の一貫性において有意な差異を示すと考えられる．

本研究の重要性

精度の向上

上の表に示される通り，UCSD Ped2¹, CUHK Avenue², ShanghaiTech³データセットにおける異常検知のAUCのスコアは，最新手法 (DeepRL) と レガシー手法 (特徴量を手作業で設定し，抽出するもの) と比較し，それらを上回る結果を出していることが確認できる．

因果表現の異常検知への利用

上図は，ShanghaiTech³データセットの正常サンプル(a)と異常サンプル(b)に対する相関行列を部分的に可視化したものである．正常サンプルに対して，異常サンプルは，全体的に相関が高いことが確認でき，因果変数が分離できておらず，因果表現の一貫性を欠いていることが確認できる．これより，因果表現を用いることが正確な異常検知に寄与することが示唆されている．

異常イベントに対する高速なレスポンス

上図は，UCSD Ped2¹ データセットに対する結果のサンプルである．異常イベントが起きたタイミングでAnomaly Scoreが直ちに上がり，異常イベントが無くなった段階で，直ちに下がっていることが確認できる．

1. Anomaly Detection and Localization in Crowded Scenes ↩ ↩²

2. Abnormal event detection at 150 fps in matlab ↩

3. A Revisit of Sparse Coding Based Anomaly Detection in Stacked RNN Framework ↩ ↩²