他人のGPUで"大規模"フォトグラメトリしたい！！

概要

少し前に、他人のGPUでフォトグラメトリしたい！！という記事を書きました。これはGoogle Colaboratory上の無料のGPUでフォトグラメトリをする方法について紹介しました。
意外にも反響があり，実際にフォトグラメトリしていただいた方もいらっしゃいます．

小物をとってみたけど、小物ではなくてその周りがオブジェクトになった。うーんなんでだろう。#photogrammetry の写真のとり方を知りたい。
画像24枚使って約30分弱で完成。 pic.twitter.com/5j2hOEgjXm

— すぎどん (@sgidon) September 16, 2019

すたみとにてこたうちさん( @kotauchisunsun )がお話してた他人のGPUでフォトグラメトリ！早速（遅い）やってみたんですが、私でも簡単にできました！すごい！
撮影場所:相模原伊勢丹8F KIHACHI前
記事はこちら！↓https://t.co/xHssCRDoSs #Qiita #すたみと pic.twitter.com/oCy9kFeVv7

— 彩|スマブラV (@aya_ssbgc) October 2, 2019

しかし、これには何点か課題があり、

• 12時間以上かかるフォトグラメトリができない。
• セッションが切れるとデータが消える。

という問題点がありました。今回、これを改善しました。それにより、GoogleColab上で，長時間のフォトグラメトリが可能になりました．実際に，画像数2,700枚超え、総稼働時間100時間超のフォトグラメトリに成功しました。
今回は、そのスクリプトをご紹介します。

"大規模"とは

特に、公式の定義はありません。私が勝手に言っているだけです。

規模	画像の枚数
小規模	< 100
中規模	< 1,000
大規模	> 1,000

ぐらいじゃないかな。と思っています。

龍 lilea(@lileaLab)さんの資料で、以下のようなものがあります。
https://onedrive.live.com/view.aspx?resid=B21F9927B008AC46!2788789&ithint=file%2cpptx&authkey=!ABzF3ZARTTdtw8w

これを見ると、部屋のような規模のフォトグラメトリをしようとすると大体、1,000枚ぐらいの画像が必要になるのかな。と思いました。
そこで、目標として、GoogleColaboratory上で1,000枚を超えるフォトグラメトリをする。ということを目標にしました。

GoogleColaboratoryでフォトグラメトリする

1. GoogleDriveにフォルダを作成する．

GoogleDriveにアクセスして，"images"というフォルダを作成します．

2. 画像をアップロードする

今回のサンプルは 岩山幸洋(https://twitter.com/HappyOcean) さんの最近公開されたデータセットの画像をアップロードします．

3. GoogleColaboratoryの準備をする．

GoogleColaboratoryにアクセスし，左上のメニューから「Python3の新しいノートブック」をクリックします．
https://colab.research.google.com/notebooks/welcome.ipynb

新しいノートブックが表示された後，「編集」「ノートブックの設定」をクリックします．

ノートブックの設定で，「ハードウェアアクセラレータ」を「GPU」に設定し，「保存」します．

4. GoogleColaboratoryでフォトグラメトリする．

以下のスクリプトをコピーし，GoogleColaboratoryにコピーします．

large_meshroom.ipyb

from google.colab import drive
drive.mount('/content/drive')

!mkdir "drive/My Drive/cache"
!mkdir "drive/My Drive/result"
!mkdir "drive/My Drive/log"

!pwd
!wget https://github.com/alicevision/meshroom/releases/download/v2019.2.0/Meshroom-2019.2.0-linux.tar.gz
!tar xvf ./Meshroom-2019.2.0-linux.tar.gz

!./Meshroom-2019.2.0/meshroom_photogrammetry  \
    --input "/content/drive/My Drive/images" \
    --output "/content/drive/My Drive/result" \
    --cache "/content/drive/My Drive/cache" \
    --forceStatus \
    | tee "/content/drive/My Drive/log/"`date '+%Y%m%d%H%M%S'`".log"
!rm -rf "drive/My Drive/cache" 

そのあと，「ランタイム」から「すべてのセルを実行」をクリックします．

次に，GoogleDriveとの連携を求められます．URLが以下のように表示されるので，クリックします．

そのあと，先ほど画像データをアップロードしたGoogleアカウントをクリックします．

右下の許可をクリックします．

トークンが発行されるので，右のアイコンをクリックし，トークンをコピーします．

先ほどのトークンを「Enter verification code:」の横のテキストボックスに貼り付け，Enterを押下します．

あとは自動でMeshRoomがインストールされ，フォトグラメトリが実行されます．

5. 結果をダウンロードする．

フォトグラメトリが終了すると，GoogleDriveにresultというフォルダが作成されます．この中身が出力結果となっています．

これで完成です．このデータセットの場合，3.5hから4.0hぐらいかかりました．

実際に見れるモデルを以下のリンクに置いておきます．
アップロードの制限で上がらなかったので，Blenderでポリゴン数を10%まで削っています．

6. 再実行の仕方

不運にも何らかの原因で接続が切れたり，12時間の計算時間の上限が来て，実行がとまることがあると思います．その場合，同じNotebookを開き，「ランタイム」から「すべてのセルを実行」を実行して，GoogleDriveとの連携の手順を踏んでください．これだけで自動で途中から再開されます．

GoogleColaboratoryが落ちない工夫

前の記事では@YougurutさんがAutoRefreshの使い方をコメント欄で教えていただきました．
この方法は，私も知っていたのですが，割と失敗するといった記事を見ていたので，ちょっと紹介するか迷っていました．
というわけで，古典的ではありますが，私はbatで解決してました．

cron.bat

echo off
set /P URL="Google ColabのURLを入力してください: "
:LOOP
    "C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" %URL%
    timeout 3600
goto :LOOP

上記した内容をcron.batとして，保存して，ダブルクリックして下さい．
そうすると，Google ColabのURLを入力してくださいと表示されるので，実行しているGoogle ColabのURLを貼り付けてください．コンソール右クリックで貼り付けられます．
そうすると，1時間ごとにchromeが起動します．これで，大体回避することができます．

大規模フォトグラメトリの実験

上記した手順はあくまでサンプルで，大規模フォトグラメトリしたものは別のデータセットです．まず初めにその出力結果を見せます．

実際に見れるモデルはこちら
https://gallery.styly.cc/kotauchisunsun/48d4e551-f1ae-11e9-b34d-4783bb2170d0

クオリティ的に非常に雑ですね．それと，部屋のようなものがフォトグラメトリされています．なぜ，このようなことになったのか．その理由がこちらです．

実は，大規模フォトグラメトリの大きな問題として，"データセットがない"という問題があります．ネットを探しても，1,000枚越えのデータセットはありません．そのため，手ごろな方法で，データを水増ししようと考えました．その結果，動画から画像出力する発想に至りました．
そこで，家に手近にあった，キズナアイのフィギュアをフォトグラメトリしてみよう．と思って，動画を撮りました．で，その動画のデータを全フレーム画像で書き出して，フォトグラメトリを行った結果，こうなりました．
フォトグラメトリしたかったのは，実は赤丸の部分だけだったのです．

その結果，MeshRoomが余計なことをしてくれたせいで，部屋全体がフォトグラメトリされる結果となりました．
では，キズナアイのフィギュア自体はどうなったか？というとクリーチャー化しました．ルパンvs複製人間にでてくるミニサイズのマモーみたいなキズナアイになりました．

さて，結果のモデルとしては割と残念な感じになってしまいましたが，得られた知見として，

MeshRoomで画像2,700枚越えのフォトグラメトリをGoogleColabratoryで無料で可能である．

ということです．MeshRoomは無料のOSSのソフトであるため，実際にどこまで耐えられるのか？という疑問がありました．しかし，この結果から，MeshRoomでも大規模なフォトグラメトリは可能のようです．
また，そのような大規模なフォトグラメトリには計算時間が必要になってきます．そんな中で，GoogleColabratoryの無料枠のみでできるスキームができるのか？というと，この実験の結果から，無料枠のみでフォトグラメトリ可能でした．
ただし，クオリティに関しては調整が必要そうである．という結果でした．

制限

これで，ほぼほぼ普通の用途においてはフォトグラメトリに関して制限がなくなりました．が，やはり制限はあります．

• 1タスクあたり12時間まで
• キャッシュの限界はGoogleDriveの空き容量の限界

という2点があります．前者は，MeshRoomの仕様によるものです．MeshRoomは1つのフォトグラメトリをするにあたり，「CameraInit」「FeatureExtract」「FeatureMatching」等のいくつかのタスクに分かれます．このタスク単位で実行が継続されます．そのため，1つのタスクに12時間以上かかると，途中でGoogleColabratoryにジョブを切られて，永遠に完成しません．しかし，これはあまり気にする必要がなく，先のキズナアイの大規模フォトグラメトリでも，最大のタスクが6時間程度だったので，まだまだ規模的には行けると思います．
問題なのは後者です．今回の仕様により，GoogleDriveにcacheというフォルダが作成されるようになりました．このcacheにより継続的な実行を実現しています．しかし，このフォルダが非常に肥大化しやすく，先の岩山さんの例だと7GBぐらいの中間ファイルができています．そのため，かなり容量を圧迫します．GoogleDriveの無料枠が15GBなので，そこが限界になってきます．これは割と引っ掛かります．

感想

正直な話，開発には時間がかかりませんでしたが，実行に時間がかかりました．これほど長時間PCを動かすジョブは久々だったので，かなり精神的にキツイものがあります．一度ミスると10日間のジョブが飛ぶので，最後の結果を見るまでは，なかなかしんどかったです．結果として，モデルのクオリティは高くありませんでしたが，そもそもMeshRoomに大規模フォトグラメトリの能力があることが分かっただけで満足です．大規模フォトグラメトリできるのはRealityCaptureだけではないようです．次のフォトグラメトリネタとして広域フォトグラメトリのネタを用意しているので，またちょっと暇を見てやろうと思います．