スマートフォンで撮影した画像から3Dモデルを作りたかった(自分が実装するわけではない)(そしてその内容をさらっと理解しておきたかった)時に概要を把握するために読んだ論文の内容を非常に簡単にまとめておきます
Understanding the 3D Layout of a Cluttered Room From Multiple Images
今回は忙しいので概要把握に努めることを目的にAbstract(要旨)とConclusion(結論)について書いていきます。
今回扱う論文について
今回扱う論文は2014年にスタンフォード大学から発表された論文で、題名の通り雑然とした部屋における３Dレイアウトを把握するというものです。
この論文は2018年4月に発表された、単一のRGB画像から区分平面深度マップを復元するディープニューラルネットワーク(DNN)を提唱する論文Plane Netにも応用されています。
Abstract(要旨)
We present a novel framework for robustly understanding
the geometrical and semantic structure of a cluttered room
from a small number of images captured from different viewpoints.
The tasks we seek to address include: i) estimating
the 3D layout of the room – that is, the 3D configuration of
floor, walls and ceiling; ii) identifying and localizing all the
foreground objects in the room. We jointly use multiview geometry
constraints and image appearance to identify the best
room layout configuration. Extensive experimental evaluation
demonstrates that our estimation results are more complete
and accurate in estimating 3D room structure and recognizing
objects than alternative state-of-the-art algorithms.
In addition, we show an augmented reality mobile application
to highlight the high accuracy of our method, which may be
beneficial to many computer vision applications.
これから、異なる視点で撮影された少ない画像から幾何学的および他の方法によって意味付けされた部屋の構造を理解する強力な新しいフレームワークを提示します。ここで取り組むべき課題には以下が挙げられます。
1.部屋の3次元レイアウト、すなわち床・壁・天井などの配置の推定。
2.部屋の前景に見える全てのオブジェクトの特定。
本論文では多視点の幾何学的な制約と最適な部屋の配置を特定する画像の外観を連携的に使用します。多方面にわたる実験評価が、私たちの推定結果が部屋の3次元構造の推定とオブジェクトの認識において他の最先端アルゴリズムより完璧に近く正確であることを示しています。さらに、ここで私たちが述べる方法の高い精度を強調するために多くのコンピューターヴィジョンアプリケーションで有用であると思われるARアプリケーションを示します。
Conclusion and future work(結論と今後について)
In this paper, we proposed a multiview framework to solve
the cluttered room understanding problem. Our solution can
be executed efficiently using a standard computer system. Experiment
results demonstrate that our method produces more
complete and accurate result in estimating room layout and
foreground objects than alternative state-of-the-art methods.
A mobile phone application is given to demonstrate our superior
estimation results have great potential to enable new
markerless augmented reality applications.
本論文では、雑然とした部屋を把握するという問題を解くために多視点フレームワークを提示しました。私たちの解決策は標準的なコンピューターシステムを用いて効果的に実行することができます。他の最先端のアルゴリズムより私たちの方法が部屋のレイアウトと前景にあるオブジェクトの推定においてより完璧に近く精度が高いということは実験結果が示しています。また我々の優れた推定結果が新しいマーカーレスのARアプリケーションを可能にする大きな可能性を秘めていること実証するため携帯電話向けのアプリケーションが提供されています。
最後に
高精度のRGB-D画像ではなく、点群データが取れないような一般的な携帯デバイスから撮影したRGB画像からセマンティックセグメンテーションによって3Dモデルが高い精度で精製できれば今後、部屋に限らずシミュレーションやモデルが必要となる分野で活用できそうです。