サングラス型の反透過ARグラスを出しているXrealが
ステレオカメラ搭載のAndoroid端末Beam Proを出していたので
簡易的な３Dスキャンに活用できないかと　試しに購入してみました

ステレオカメラを活用して3Dモデル作成するテストの覚書です。
普段はTLで技術情報を眺めているだけで翻訳片手なので間違いが多いかもしれません

XREAL Beam Proの撮影画像について

撮影画像は　左右のカメラ画像を横並びにしたもので記録されるようで
動画は片目1920*1080で 3840*1080
静止画は片目3844*2880で 7688*2880になるようです

今回はまずは動画撮影したものから画像を切り出してテストをしています

動画からのフレームの書き出し

ffmpegを使って動画のフレームを一定間隔で抜き出して
横並びの左右片目づつ切り抜きするバッチファイルを作成してみました

4f.bat

rem 動画の場所にフォルダ作成
md %~dp1sbimgL
md %~dp1sbimgR
rem 秒間4枚画像を書き出し
%~dp0ffmpeg\bin\ffmpeg.exe -i %1 -vf crop=1920:1080:0:0 -r 4 -f image2 %~dp1sbimgL\img%%06d.jpg -vf crop=1920:1080:1920:0 -r 4 -f image2 %~dp1sbimgR\img%%06d.jpg
pause

動画のある場所に左右それぞれのフォルダを作成し
秒間４フレームで切り出して　左右振り分けての画像を保存する処理にしています

動画から切り出したものを青赤ステレオ風で重ねて画像を比較してみました

大体3ｍ先で15pixel程度　10m先の軒先で5pixel程度の平行移動が確認できます
ただ動画なのもあって拡大画像で確認してみるとブロックノイズが気になりますね

COLLMAPでの解析

まず CollmapでSfM (Structure-from-Motion)してみました
SfMとは画像から抽出した特徴点からカメラの移動位置や　特徴点の立体位置を再構築する処理のことです
Colmapは制度が良く高速なのもあって　学術的な解析でもよく使われるようです

Collmapでの解析ではまず　File>NewProjectで
プロジェクトのデータベースファイルの作成と画像のあるフォルダの指定をします

Reconstruction>Automatic Reconstruction で開くウインドウで
各種設定をすることでで解析開始です

動画から連続画像を作ったので　Data typeをVideo framesに設定して
画像のある親フォルダ下に左右のカメラで画像を振り分けたサブフォルダを作っておいて
Shared intrinsics per sub-folder　をチェックすることで　別の一連の画像として解析するようです

今回の再構築した点群データはこんな感じでした

後半で左右のカメラの動きに解析違いが出来てしまっている様子ですが点群だけも全容が分かる程度には構築できています
今回の解析では13th Gen Core i7ノートで9分強　ポータブルゲーミングPCで20分の解析時間と
少なくとも自分のやりたいことはできそうです

左右のカメラの相対位置を拘束する設定がないか　調べる必要がありそうです

Meshroomでのフォトグラメトリ

複数写真から立体を生成するフォトグラメトリソフトの一つに AliceVision Meshroom という
オープンソースのソフトがあります
ステレオカメラに対応した処理があるようなので試してみました

Meshroomのマルチカメラリグの設定

meshroomはrigフォルダ下に番号分けしたフォルダを置くと
フォルダ下の同一番号の画像を同期して撮影された画像として処理してくれるようです

ただ、画像のExif情報のBodySerialNumberが別である必要もあるようです
幸いにも　Windowsのプロパティでも複数ファイルExif情報を一括編集できるようです

IDが被っていさえいなければいいので　片目分のデータに適当な値を入れればいいだけのようです

後はデフォルトの設定で処理を実行してみました

枚数や1080p動画から書き出した画像の精度と考えると比較的いい仕上がりなのではないでしょうか

カメラの撮影軌跡について

フォトグラメトリの素材撮影において、より綺麗な結果を得るには
カメラの位置を変えずに回転する撮影（パン）を極力減らして画像同士で重なる部分が8割程度あるようにするとよいようです

今回のテストでは　あえて撮影位置をあまり移動せずに左右の首振り中心で撮影も試してみました

上が片目分の平行移動画像
下が両目撮影の首振り画像　の結果。入力枚数を揃えたものです

従来通り平行移動を心掛けた方が結果が良いようですが
左右に平行移動した画像のペアがある分　カメラ１つで首振りするよりはまともな結果になってるかもしれません

雑な検証ですが　個人的には実りの多い検証でした
まだ把握していなかった設定も含め　引き続き色々試していきたいと思います