1. はじめに
SfM(Structure from Mortion)は、カメラを少しずつ動かしながら撮影した画像を組み合わせて、被写体の3次元構造を復元する技術です。遺跡・仏像などの文化財、橋梁・橋げたなどのインフラ構造物の記録・調査・点検に幅広く用いられています。ここではこのSfMでできることとその基本的な流れについて、Metashapeというアプリを用い、最も短い手順で説明します。
https://www.agisoft.com/features/professional-edition/
MetashapeはAgisoft合同会社のソフトウェア製品です。
2. 導入
2.1 ダウンロード
まず、次のサイトからインストーラをダウンロードします。
https://www.agisoft.com/downloads/installer/
ここではWindowsOSでの導入について説明しますので、Professional EditionのWindowsのリンクをクリックします。
ダウンロードが始まります。
ダウンロードが完了したらプロパティを開き、セキュリティの「許可する」にチェックを入れ、「OK」を押して下さい。
2.2 インストール
ダウンロードしたファイルを右クリックし、「インストール」を選択します。
次の画面が現れるので「Next」をクリックします。
次の画面のライセンス条項を読み、問題が無ければチェックボックスにチェックを入れて「Next」をクリックします。
インストールオプションの設定画面が出ますがそのまま「Next」をクリックします。
Create desktop shortcut for this program.にチェックを入れて、「Next」をクリックします。
インストール対象が"Professional"になっていることを確認して、「Install」をクリックします。
画面が切り替わり「このアプリがデバイスに変更を加えることを許可しますか？」と出るので「はい」をクリックすると、インストールが始まります。
完了すると次のメッセージが出るので「Finish」をクリックします。
2.3 起動
デスクトップに作られたアイコンをダブルクリックします。
最初に次のように表示されますが、そのまま少し待ちます。
すると今度は次の画面が出ます。ライセンスを取得済みの場合はコードを入力しますが、デモモードで試用することとして説明します。
Continue using Metashape Professional in demo modeにチェックを入れ、OKをクリックします。
これで起動は完了です。
2.4 日本語化
以降日本語環境で説明しますので、GUIの表記を日本語に変更します。Toolsからpreferencesを選択します。
LanguageからJapaneseを選択して「OK」をクリックします。
GUI表記が日本語化されました。
3. 操作
3.0 写真撮影
冒頭で説明したように、「カメラを少しずつ動かしながら撮影した画像」が必要です。これは、この技術が、ある写真に写っている点がその他の写真のどこに写っているかを辿るという手順を必要とするためです。なので、例えばある物体を上下・左右・手前・奥の6方向から撮影した画像は不適です。ビデオカメラでゆっくり舐めるように撮影するとよいので、ここでは例としてトイドローンを用いて撮影したビデオを使うことにします。被写体は白板に貼り付けた猫のマグネットにしました。
ここでは、ビデオから1秒間に5フレームの静止画を抜き出したものを入力することとします。用意した64枚の画像はこのようなものです。
画像はこちらからダウンロードできます。
画像サンプル
3.1 画像の読み込み
まずは画像を読み込みます。「ワークフロー」から「写真を追加」を選択します。
画像が置かれているフォルダを開き、追加する写真を選択します。フォルダ内のすべての画像を選択する場合はCtrl+Aキーを押します。選択できたら「開く」をクリックします。
「写真」の領域に写真の一覧が表示されます。
3.2 特徴点の3次元座標計算
ここからが昨今のSfMのすごいところです。それまでは、カメラパラメーターの設定・特徴点の抽出・対応付け・カメラの位置推定・特徴点の3次元座標計算と順を追い、場合によって反復を繰り返して四苦八苦する手順が、たったのワンクリックで実行できます。カメラパラメーターはデフォルトの初期値から自動計算されるので一切の入力が不要です。「ワークフロー」から「写真のアライメント」を選択します。
オプションが指定できますが、一先ずデフォルト設定のまま進みます。「OK」をクリックして下さい。Celeronのようなpoorなマシンでも3分程度で完了します。
処理実行中の画面が次のように表示されます。
実行結果は次のようになります。表示されているのは写真間で対応が見つかった特徴点です。「モデル」領域におぼろげながら、被写体の猫ちゃんたちが並んでいるのがわかるかと思います。この領域の表示は、マウスの左右ボタンを使ってドラッグすることで調整することができます。まず、点群の中央付近の点の1つをダブルクリックして回転中心を決めます。その後、ボタン左で回転、ボタン右で平行移動ができます。
次に、近い特徴点同士をつないで表面データを作成します。「ワークフロー」から「メッシュ構築」を選択して下さい。
オプションが表示されますが変更せずに、「OK」をクリックします。
次はテクスチャの作成です。「ワークフロー」から「テクスチャ構築」を選択します。
オプションが表示されますが変更せずに、「OK」をクリックします。
3次元モデルが復元されました。
4. おわりに
今回は入門ということで、復元品質を度外視して被写体の3次元モデルの作成までの最短手順を説明しました。ここでは触れませんでしたが、カメラパラメーターの入力やタイポイントの設定などにより、復元品質を向上させることができます。また、SfMの目的は測量ですが、このままでは長さや高さを測ることはできません。このためには「ジオリファレンス」と呼ぶ操作が必要になりますので、興味のある人は他記事を参照して下さい。