1. 概要

一般的なカメラは連続的にフレームを撮影しフレーム単位で画像情報を取得するが、イベントカメラは画像の変化が発生したときにのみイベントを記録するセンサーを使用する。スパースな出力となり、またモーションブラーに対して高い耐性を持っているため、低遅延で低帯域幅の特徴点追跡に向いているとされる。この研究では、通常のカメラとイベントカメラとを組み合わせ、複雑なシーンでもより頑健に特徴点追跡が行えるようにした。

*Award Candidate

2. 新規性

特徴点追跡の精度は一般的なカメラのハードウェアスペックに依存していたが、この研究を用いることでハードウェア性能に依存せず頑健に特徴点追跡ができるようになった。

3. 実現方法

グレースケール画像で検出された特徴点を追跡するために、イベントカメラを利用して低遅延で追跡できるようにしている。フレーム間での相関を学習できるようアテンションモジュールを時間方向に導入しており、特徴点が時間方向に対して一貫性を持つような予測を行うことで頑健性を上げている。また、画像内の特徴点間の情報をアテンションモジュール(セルフアテンション)で結び付けて特徴ベクトル内にシーン全体の特徴点情報を包含している。

4. 結果

実データでファインチューニングをすることで、従来手法よりも130%レイテンシー(遅延)を少なくすることができた。近年の手法と比べても大幅な改善を示している。

Paper URL: https://openaccess.thecvf.com/content/CVPR2023/papers/Messikommer_Data-Driven_Feature_Tracking_for_Event_Cameras_CVPR_2023_paper.pdf

last updates: July 5 2023