Comments

1. 

   @kotekote_kotteri_ramen

   Questioner

   more_horiz

   @mamo3gr さん
   
   回答ありがとうございます。
   
   （1）モチベーションについて
   　リアルタイムでバンドル調整を実行するような機能を実装したいと考えています。一から自分で実装するわけではなく、画像処理や最適化はopencvやceres-solverなどの主機能はオープンソースで代用する予定です。
   　以下の質問箱の画像で示したような絵でバンドル調整を学んでいます。バンドル調整の評価関数である再投影誤差を正しく計算するためには、ある3次元点と、その点に対応する画像上の特徴点が必要になると理解しています。2枚の画像のみであれば、三角測量によって求められた3次元点と画像上の特徴点は適切に対応付けられると想像できます。
   　しかしながら、以下の画像のように、ある三次元点aをカメラ1、カメラ2、カメラ3の画像上に投影し、その点と対応する特徴点から再投影誤差するという解説を読んだ時、「カメラ1、カメラ2、カメラ3において、ある3次元点aと対応する画像上の特徴点はどのように求めるのだろう」と疑問に思ったことがきっかけでした。
   
   　つまり、再投影誤差を適切に実装する方法を知りたいと思ったのがモチベーションとなります。そして、「複数の画像における共通の特徴点の対応付け」ができれば適切に再投影誤差を実装できるのではと思い、色々調べたのですが、2枚の画像間の特徴マッチングしか見つからず、質問するに至った次第です。
   
   申し訳ありませんが、@mamo3grさんが提示してくださっているa.とb.でどちらの方が出来栄えが優れているかは把握できておりません。
   
   
   （2）問題について
   　困っていることとしては、バンドル調整の再投影誤差を実装するにあたり、どのように特徴点の対応付けが成されるかが分からないという点です。
   　単なる2枚の画像における特徴マッチングのみの解説にのみヒットするかつ、@mamo3grさんも指摘してくださっていますが、「自身の考えとは違った方法で再投影誤差は実装されるものなのでは？だから上手く検索がヒットしないのでは？」と思い、質問に至りました。
   
   
   
   回答において、言葉足らずの点がまだございましたら、指摘をいただけたら幸いです。
2. 

   @mamo3gr

   more_horiz

   まず「複数の画像における共通の特徴点の対応付け」は、バンドル調整のために必ずしも必要ではありません。記載した例でいうと、三次元点aについて、カメラ1, 2における再投影誤差と、カメラ2, 3に投影した再投影誤差を最小化すれば、カメラ1,2,3のモーション（相対的な位置関係）は求まります。すなわち、カメラ1-2間、2-3間でそれぞれ特徴点が対応付けられればよく、1-2-3間で共通しているかどうかは必須ではありません。（もちろん、共通であることが分かれば、より高い精度でモーションを推定できる可能性はあります。）
   
   2枚の画像間（画像ペア）の特徴マッチング→全画像ペアでバンドル調整という実装のほうが比較的簡単なので、まずはこちらから試してみてはどうでしょうか。
3. 

   @mamo3gr

   more_horiz

   なお、3視点以上で共通の特徴点を見つけたい場合は、質問元の「連続したフレーム間で同一の特徴点を対応付ける場合」あるいは「不連続したフレーム間で同一の特徴点を対応付ける場合」が順当なやり方であるように見えます。それぞれ試してみて、実用上の問題点が無いか確認してみるのはどうでしょうか。
   
   参考として、やや問題設定がずれますが、Visual SLAM（移動ロボットの自己位置推定など、順次画像が増えていくケースでのSfM）では、ある時点までのフレームでSfMし3次元復元に成功した点の特徴ベクトルを記録しておき、新しいフレーム内で特徴ベクトルが似た点がないか探す、という処理をする場合があるようです。
   
   * 論文：https://arxiv.org/abs/1910.01122
   * 実装：https://github.com/stella-cv/stella_vslam
4. 

   @kotekote_kotteri_ramen

   Questioner

   more_horiz

   詳しい回答ありがとうございます。質問して良かったと改めて思いました。
   
   非常に勉強になりました。提示してくださっているように、2枚の画像間（画像ペア）の特徴マッチング→全画像ペアでバンドル調整という実装を行ってみます。
   また、そのときの複数枚の画像ペアでのバンドル調整の際には、自分で考えてみたアイデアが順当と言ってもらえましたので、試して妥当性を実際に検証したいと思います（学生で時間だけはありますので、手を動かしてみます）。それで上手くいかなければ、visual slamの論文に特徴点や3次元点の対応や保持に関する記述があることを教えてもらいましたので、visual slamを中心に調査を再開したいと思います。