Affordance のデータセットを作る中で利用されているソースコードの例

論文からは実に学ぶ点が多い。
著者たちがどう考えているのかが見えてくる。

• どういうデータセットを使っているのか.
• データセットを作っている場合、どのようにデータセットを作っているのか。
• データセットを作るにはどのような手法を用いているのか。

Affordance　というタスクは、従来と問題の定式化が違ってくるので、セグメンテーションタスクとは違ったデータセットの作り方になる。

COLMAP

COLMAP is a general-purpose Structure-from-Motion (SfM) and Multi-View Stereo (MVS) pipeline with a graphical and command-line interface. It offers a wide range of features for reconstruction of ordered and unordered image collections. The software is licensed under the new BSD license.

• 解説記事 COLMAPで動画から3D点群データを作成する

• 解説記事 誰もが現実世界をスマホで3D化できる時代がやってくるかも、という話【SfM】

• 解説記事 COLMAP の使用上の注意
  中国語のページですが、日本語に翻訳できます。

Jetson での例

• Jetson Nano 2GBにCOLMAPをインストールする（How to Install COLMAP on Jetson Nano 2GB）

• github JetsonTX2-COLMAP-Structure-From-Motion-Library forked from colmap/colmap

XMEM

https://github.com/hkchengrex/XMem
[ECCV 2022] XMem: Long-Term Video Object Segmentation with an Atkinson-Shiffrin Memory Model

pdf
Inference

• 動画に対してセグメンテーションをしている。

• 個々のフレームに対するセグメンテーションでは、フレーム間でセグメンテーションの連続性・一貫性がとれなくなる。

• だから動画に対するセグメンテーションが必要になる。

• video segmentation sota で検索してみよう。

• PaperWithCode Video Object Segmentation

• ここでもXMEMが並んでいる。

• GPUは必要である。

Install

• pip3 install -r requirement.txt
• pip3 install -r requirement_demo.txt
• Interactive GUI for Demo
  • 手順どおりに実行して import エラーを生じる場合がある。
  • その場合には、python3 -m pip install パッケージ名 を実行すること。
  • Qtがらみのエラーが出たら、そのエラーメッセージを検索して、必要なライブラリを追加すること。

ARKit/ARCore

Unity で ARKit & ARCore AR開発環境のマルチプラットーフォーム(iOS & Android)対応

• AR マーカーを使ってカメラの姿勢を算出している。
• カメラ自体で姿勢が分かる場合は不要。