はじめに
COLMAPソフトでアライメントに失敗したスマホ動画データがあったので、Metashapeを使ってアライメントして3DGS生成してみました。
スマホ動画からのCOLMAPソフトを使った普段の私の生成方法は以下に書いています。
Metashapeの使い方は別記事で公開予定です。
Metashapeでアライメント
今回はすでにffmpegで画像連番化していたものを使用しました。
今回は使っていないですがMetashapeには動画を直接インポートして画像切り出しする機能もあります。
カメラキャリブレーションした後、ワークフロー＞写真のアライメントでアライメントを開始します。
1802枚で30分ほど処理が行われましたが、最後以下のようなダイアログが出てしまいました。
不良コンポーネントの分離
アライメント結果を見ると、一部のカメラの位置推定がおかしくなっています。
左側のComponentを開くと細かくPartで別れていました。
Parsをクリックするとカメラの色が変わるので、アライメントが失敗している最小単位のParsを右クリックして別コンポーネントに切り出しました。
これで正常にアライメントされたカメラのみを抽出できました。
Colmap形式でエクスポート
エクスポート＞カメラをエクスポートでColmap形式を選択します。
設定はデフォルトのままでOKです。
画像の変換処理が入るため、5分ほど時間がかかりました。
画像もコピーされて、一般的なColmap形式のディレクトリ構造になりました。
3DGS生成
エクスポートしたColmapデータをLichtFeld Studioに読み込んで3DGSを生成しました。
読み込み時に上下が反転していましたが、生成自体は問題なく完了しました。
生成後に上下向きを直しました。
まとめ
COLMAPでアライメントに失敗していたスマホ動画データでも、Metashapeを使うことでCOLMAPよりアライメント精度も高くなり、またアライメント不良部分の分離もしやすかったので、きれいな3DGSを生成できました。