※ 過去にxRTechNagoya、XRMTGでフォトグラメトリとOpenCVについてLTしたものとほぼ同様の内容です。
この文書について
複数の写真から３Ｄデータを作成できるフォトグラメトリ。特別な機材もいらずにデータを生成できて素敵なのですが・・・
3DF Zephyrでフォトグラメトリしていると、木の幹のように綺麗に取れる場合と、柱のようになんだか酷い事になる場合があると思います。
その原因についてフォトグラメトリの処理内容をOpenCVの本を読んでなんとなくまとめてみました。
（画像が多めなので縮小表示しています。クリックで原寸表示）
まずは、上手くいく例 いかない例
下図は、4枚の写真を3DZFでテクスチャ付きメッシュを作成したものになります。（デフォルト設定で作成）
↓綺麗に立体化できるケース↓
↓柱が残念ことになってるケース↓
フォトグラメトリの処理概要
まず、フォトグラメトリが何をやっているかをなんとなく理解しておきます。
立体データを作成するには、下記の処理を行っているはず。（多分。）
１．写真の特徴を検出する。
２．複数の写真の特徴点の紐づけを行う。
３．カメラの位置を推定する。
４．各特徴点に対して測量する。
５．測量して得た点群をグループ化して、３Ｄデータを生成する。
１．特徴検出処理
画像の特徴となる点を求めます。
Python-OpenCVだと、Akaze.detectAndCompute関数に画像を食わせるとやってくれます。下図がAkaze.detectAndComputeで写真を処理した結果をを検出になります。
２．特徴点の紐づけ
複数画像から、特徴が一致する点の紐づけを行います。
Python-OpenCVだと、matchar関数に画像を食わせるとやってくれます。下図は2枚の横に移動して撮影した写真を、matchar関数で紐づけした結果になります。
３、４．カメラの位置の推定、特徴点に対しての測量
上図のように、横移動しながら撮影した２枚の写真では手前の特徴点は大きく動き、遠くの特徴点はあまり動いてません。
中学の三角関数で暗記させられた角度で例えると、下図のような感じ。
特徴点の移動量から、まずはカメラの位置（辻褄の合う位置）を推定し、次にカメラの位置から各特徴点の位置を推定します。
↓3DF Zephyrで特徴点の座標から点群を求めたところ↓
５．特徴点のグループ化、ポリゴン生成
あとは、特徴点をグループ化して、ポリゴン化します。
↓点群をグループ化して、ポリゴンを生成↓
↓テクスチャ塗り塗り↓
O'REILLYの詳細OpenCV３にはグループ化の説明に下のような説明。機械学習のラベリングと同じような感じ？
（自分がへっぽこなのでよく判ってない＞＜）
んで、上手くいく例と行かない例で何が違うか
OpenCVの特徴点を抽出する処理を、冒頭の木の幹と柱の画像に掛けてみます。
木の幹の画像に特徴点抽出をした結果
↓拡大したもの。幹の表面の凹凸をこれでもかってくらい拾っています。
柱の画像に特徴点抽出をした結果
上手くいったケースに比べて、特徴点の検出に偏りが出ています。
特に柱なんかは、大きい割に特徴点が少ないです。
特徴点になるのはどこ？
図形を特徴点抽出してみる
直線と円形の図形をAkaze.detectAndComputeで処理してみます。
↓特徴点抽出結果↓
曲線と角に特徴点が発生していますが、直線部分がスルーされています。なんということだ。
O'REILLYの詳細OpenCV３には特徴点の説明に下のような説明。
グレースケールで、周辺のドットとの差異が大きいドットを特徴点としている模様。
直線は特徴点にならない
↓先ほどの画像を拡大したもの。角の内側が特徴点になっています。↓
Ａ点（黒）を基準に周囲の８近傍のドットと比較した場合、黒３：白５（38％一致 特徴にする）
Ｂ点（白）を基準に周囲の８近傍のドットと比較した場合、黒５：白３（38％一致 特徴にする）
と、中心と異なる値のドットが多いです。
逆に特徴点となっていない直線は
Ｃ点（白）を基準に周囲の８近傍のドットと比較した場合、黒３：白５（62％一致）
Ｄ点（黒）を基準に周囲の８近傍のドットと比較した場合、黒５：白３（62％一致）
と、中心と同じ値のドットが多いです。
角の外側（Ａ点の左上など）なんかは、白が起点になって、黒１：白７ですね。（88％一致）
周辺のドットとの差異が大きいものを特徴点とする場合は、角の内側が特徴として強く、直線は特徴としては弱いことになります。
これが柱や平面に特徴点が発生しない理由になる。
例えば冒頭のマフィンの画像の場合も、
特徴点を抽出するとマフィン周辺の立体データはマフィンの粉が特徴点になり、いい感じに立体化されていていますが。（粉スゲー）
一方で、紙コップは崩れていました。特徴点で見ると見事に特徴点が取れません。背景のトレイと色相も明度も近いせいでしょうか。
3DFZephyrの内部処理がどうなっているかは分かりませんが、Akazeの特徴点検出と傾向が似ているので参考にはなるかと思います。
得られた知見
直線、平面は特徴点の判定条件のため無視されがち。そういう処理なのだから飲むしかない。
ボケ、ブレを減らし、小さな傷や粉などを特徴点として捉えることでフォロー。
それで駄目らなマフィンの粉をかけろ！
って書いたけど、美味い人がやると弁当箱の直線とか取れてるんですよね。教えて偉い人。