ChArUco マーカーボードで位置推定

ChArUcoとは

公式Doc: https://docs.opencv.org/3.4/df/d4a/tutorial_charuco_detection.html

The ArUco part is used to interpolate the position of the chessboard corners, so that it has the versatility of marker boards, since it allows occlusions or partial views. Moreover, since the interpolated corners belong to a chessboard, they are very accurate in terms of subpixel accuracy. When high precision is necessary, such as in camera calibration, Charuco boards are a better option than standard Aruco boards. (公式Docより引用)

• とどのつまり

  • arucoマーカーたくさん並べて精度上げたり安定性を高めるための便利ツール。
  • 一部が隠れててもChArUcoボード自体の姿勢推定ができる。
  • ChArUcoボード自体でカメラのキャリブレーションもできる。

• ボードの作り方

  • 売ってる (たぶんぼったくり) https://calib.io/products/charuco-targets
  • 自分はpdfにしてキンコーズでセルフで印刷(厚紙A3)+ラミネート(マッド加工)しました (全部で600円くらいでできた)
    • pdfへの出力は無劣化な方法を使いましょう (⇩のコード参照されたし！)

詳しくは

• こちらのjupyter notebookを参照してください・・・ (雑)
  • https://github.com/naruya/aruco/blob/master/3_charuco.ipynb
  • (多少自己流が含まれます)

ギャラリー

• ⇧ マーカーで推定したカメラの姿勢データを使ってNeRF (Colmapを使わないNeRF)

• ⇧ マーカーでカメラの姿勢推定

• ⇧ 入力画像

• ⇧ 邪魔なオブジェクトを描画

• ⇧ 邪魔なオブジェクトありで、ボードの姿勢推定をした結果