要約
近年、単眼での物体検出・追跡は飛躍的に向上していますが、物体がカメラから見えていることを前提としています。多くのオフライントラッキングアプローチは、再認識（ReID）を利用して、オブジェクトが再び現れた後にトラックレットをリンクすることで、隠蔽されたオブジェクトを事後的に推論します。しかし、自動運転車のような身体を持ったロボットのオンライントラッキングでは、基本的にオブジェクトパーマネントが必要です。本研究では、トラッキングベンチマークを再利用し、見えない物体を検出するための新しい測定基準を提案しています。その結果、現在の検出・追跡システムでは、このタスクのパフォーマンスが劇的に低下することが分かりました。この性能低下の多くを回復するために、2つの重要な技術革新を導入しました。1つは、時間的な流れの中での隠蔽物体の検出を、短期的な予測の課題として扱い、動的な流れの予測から得られるツールを活用します。2つ目は、最新の単眼深度推定ネットワークの観測結果を利用して、3Dを明示的に推論する動的モデルを構築することです。我々の知る限り、隠蔽された物体を追跡・検出するタスクにおいて、単眼の深度推定の有効性を実証した最初の研究である。我々のアプローチは、ベースラインと比較してアブレーションを11.4％、F1スコアを5.0％向上させることができた。
