1. 概要
動画の中から異常行動を検出しどの方角からどのくらいのスピードで何が来るのかを検知してわかりやすく可視化した研究。従来手法と比べ異常検知の精度が大きく向上しており、またAIの解釈性(interpretability)を高めるためのUIも充実している。動画から異常検知を実施するときに問題になるのが、不審行動や異常の定義があいまいなため教師学習が成り立ちにくい点にある。この研究では、異常な状態や不審な行動自体を学習するのではなく、動画を時空間に分割したときに周囲に比べて自分のパッチがどれほどかけ離れた特徴を持っているかを調べることで実現している。
2. 新規性
- 対象物体のクラス、2) 動作検知、3) スピード検知、4) 静止画素の割合を入力動画から同時に求めることができる。学習は個別に行われるのではなく、4つのネットワークに対して一度に実施される。対象物体のスピードや方向といった情報はオプティカルフローを教師情報として学習することでアノテーションコストがかからないようにした。静止画素の割合はパッチ単位で特徴量が算出され、固定のグリッド長に対してどれほど動作があるかを示す。例えば、周囲が絶え間なく動いている中で静止している箇所は周辺と比べて特異であるし、また周囲が静止している中で対象が動いていれば顕著点となる。
3. 実現方法
動画を空間的にグリッドに区切り、時間方向のボリュームとみなして各ネットワークからの出力をグリッドの代表特徴ベクトルとして保存する。検知対象動画に対して同じ処理で各グリッドの代表特徴ベクトルを取得した時に、これまでのレコードされた特徴ベクトルと比べ最近傍探索で距離が離れていたものを異常個所とみなす。
4. 結果
固定カメラを対象にした複数のデータセット(Street Scene/CUHK Avenue /ShanghaiTech/UCSD Ped1,2)で効果を検証しており、従来手法に比べて大幅な改善を確認した。
また、DNNで抽出した各種異常兆候を示す代表特徴は可視化されて直感的にユーザーにフィードバックされる。検出した対象がどのクラスでどちら向き方向にどれくらいのスピードで動いているのか、またそれは前景・背景のいずれの可能性が高いか、などが一度に確認できる。
last updates: June 22 2023