Photogrammetry on Docker ～ サーバ屋さんもXRしたい ～

フォトグラメトリとは？

最近，このような動画がバズっていました．

鎌倉、銭洗弁天をまるごとVR化！

建築デジタルアーカイブの試み。
リプ欄からVR体験可能です。#Photogrammety pic.twitter.com/Qsf3ZwjQDM

— 龍 lilea (@lileaLab) May 21, 2019

鎌倉の銭洗弁天という場所を"フォトグラメトリ"という技術を用いて作られたようです．

フォトグラメトリとは、物体を様々な方向から撮影した写真をコンピューターで解析し、3Dモデルを立ち上げる技術です。
フィギュアのような小さなものから、建築や都市といった大きなものまで3Dモデルにすることができます。

引用：フォトグラメトリ入門 撮影方法～3Dモデル作成

ざっくりというと，写真から3Dモデルを生成する技術です．
最近，私がxRTech Tokyoに参加し，そういや，3か月前くらいにOSSのフォトグラメトリのソフト使ったことあったなーということを思い出し，やる気のあるうちに，フォトグラメトリを簡単に行うDockerイメージを作りました．

リポジトリ

今回作ったDockerのリポジトリ

今回，Docker用に改造したフォトグラメトリのソフトのリポジトリ

利用方法

手軽に行いたい方はこちら

$ mkdir image # ここにフォトグラメトリの対象となる画像を置く
$ mkdir scene # ここに3Dのモデルが出力される
$ sudo docker run --rm -it --privileged -v `pwd`/image:/image -v `pwd`/scene:/scene kotauchisunsun/alpine-mve ./run.sh 

これでscene/surface-L2-clean.plyに3Dモデルが生成されます．
これだけです！

自分でビルドしたい方はこちら

$ mkdir image # ここにフォトグラメトリの対象となる画像を置く
$ mkdir scene # ここに3Dのモデルが出力される
$ sudo docker build -t kotauchisunsun/alpine-mve https://github.com/kotauchisunsun/alpine-mve.git
$ sudo docker run --rm -it --privileged -v `pwd`/image:/image -v `pwd`/scene:/scene kotauchisunsun/alpine-mve ./run.sh 

速度を求めたい人は自分でcloneしてきて自分のCPUに最適化したDockerイメージを作るのをお勧めします．

サンプルの出力結果

自分が3Dとして取り出したい対象の写真を撮って利用することもできますが，ここでは，
Agisoftさんのサンプルのmonumentというデータを使った出力結果を張り付けておきます．

zipの元の画像データはこんな感じ

出力された3Dデータ

斜めのアングル

後ろ姿ももちろん見える

視点が届きにくい上からのポリゴンは削れがち

OSSのPhotogrammetryソフト

今回利用したのはドイツのダルムシュタット工科大学が作ったMVEというソフトです．

それを，私が今回用にちょっとビルド回りをいじったものを使っています．

OSSのPhotogrammetryソフトを色々と使ってみた結果，自分には一番MVEがあってる！となったので，その理由を紹介したいと思います．

CPUのみで動く

一番の理由がCPUのみで動くことです．高品質なOSSで無料のフォトグラメトリのソフトにMeshRoomというものがあります．

割と評判もよいので，使ってみたところ，NVidiaのGPUが必須のようで，intelのGPUのノートPCでは動きませんでした．したがって，CPUベースのフォトグラメトリソフトを探す必要がありました．

速い

もう1つ高精度なフォトグラメトリのソフトとして，COLMAPというものがあります．

これも非常にきれいに出力ができて，なおかつCPUで動く．ということで割と評判が良かったので導入してみました．私のPCでは遅すぎて出力が終わらなかったです．これは，悪い点ではあるのですが，おそらく発想が逆で，アルゴリズムがGPU特化しているせいで，それを無理にCPUで回そうとすると膨大な時間がかかってしまっている．というのが原因だと思います．私のPCが悪い．
一方で，先ほどのmonumentのサンプルを動かしてもMVEだとCPUでも1時間未満ぐらいで動いたので，非常に手軽でした．

1パッケージ

その他にも，色々とのフォトグラメトリのソフトはいろいろあり，VisualSFMなど色々あります．これも試してみました．しかし，以下の図を見ていただくと分かるのですが，選ぶソフトによっては，そのソフトで完結せず，複数のソフトを経由するものがあり，非常に煩雑です．

引用：http://www.cs.cmu.edu/~reconstruction/Documentation.html

これを見ると分かるようにMVEは1つのソフト(リポジトリ)ですべてのワークフローが完結するので，非常に楽です．

まとめ

• MVEというフォトグラメトリを行うソフトが簡単に動くDockerイメージを作りました．
• MVEはCPUだけでフォトグラメトリが出来て，そこそこ短時間で3Dモデルが作れます．
• 実際にサンプルの画像から3Dモデルが取り出せました．

感想

5年ほど前に，3Dスキャナを作ってたこともあり，このあたりの技術には非常に興味がありました．その当時はAutodesk 123D Catchぐらいしかなく，このような画像特徴量ベースのものはかなり少なかったです．その当時から考えると凄く世の中変わったなーと思います．商用のものと比べれば，まだまだかもしれませんが，サーバー屋さんでも手軽にフォトグラメトリできます．時間は結構かかるので，さくらのVPSとかで動かして，寝て待つのがいいのでしょうかね．