#概要
写真1枚で 高精度な3D画像↓　簡単作成できるよう。
githubは、以下。https://github.com/vt-vl-lab/3d-photo-inpainting

論文『3D Photography using Context-aware Layered Depth Inpainting』
Meng-Li Shih1　さんらは、以下。https://arxiv.org/pdf/2004.04727.pdf

ここでは、空間の捉え方を確認するために、

元画像に対して、depthを算出させ、
既にdepth算出済の状態から、元画像に格子を入れて、3D処理を実施。

結果は、以下。(加工前の静止画の出典は、https://pixabay.com/ja/ ）

⇒　水平面、垂直面がうまくとらえられている感じがする。

#まとめ
上記のgithubの技術のポイントは、別のところにあると思うので、これは、そこで使っているベースの技術の検討になっている(初心者で、そちらに関心がいった）。

尚、下記は、おそらくgithubの著者のレベルを超えた作品。　技術の軽微な破綻を、pizza取り分けの困難さに埋設？

(下記関連も含め、【1】⇒【2】⇒【3】⇒【0】(これ）の順で、記事を記載した。）
コメントなどあれば、お願いします。

#補足
論文の内容を少し意識するとした場合、
下記は、論文のfig.6であるが、何を説明してくれているのか、全く、わからない、と書こうと思ったが、、、そんな作業をしていると、少しづつ、わかってきた。。。⇒別途。

（出典：上記論文のfig.6）

今後の予定：

多少、この論文を読む。
inpaintingの技術を知る（古い技術含め）
もっと良いdepth推定があるような気もするので、最良なdepth推定（を探してそれ）と組み合わせてみる。【3】のよりもっと良いものと。（これ、depth推定の良し悪しの評価にも使える気がする。。。）（たぶん、この項を最初にやる）
pizzaを超える作品をつくる。

#関連
本記事の作業方法等がわかる詳細情報は、以下の関連を参照願います。

(1)
写真1枚で高精度な3D画像簡単作成やってみた【1】。(depthがPNGで編集できるようになりましたよ。)

(2)
写真1枚で高精度な3D画像簡単作成やってみた【2】。(depthをnumpyで加工してみる)

(3)
写真1枚で高精度な3D画像簡単作成やってみた【3】。勝手にdepthのみ別の手法（intel-isl のMiDaS他）。
→　ここで、depth estimationを別のもの（2種）にしている。
　ややサンプルが難しすぎたか、共通する課題のほうが目立つような結果。

(4)
写真1枚で高精度な3D画像簡単作成やってみた【-1】。(隠れた領域が、本当に見えるのか？)

#役立つかもしれない情報（一連の記事【-1】～【3】総合）
【1】
・GFORCE GTX1050Ti（専用GPUメモリ4.0GB)では、
GPUのメモリ不足で動かない場合あり。
　これは、画像サイズに依存するのではなく、
　おそらく、画像の中身で3Dの表現に必要なメモリ量の関係か何か。
　解決策、見つけていません。パラメータ変更等でなんとかなるのかも。
赤い車ので、専用GPUメモリ3.4GB程度、白のは2.7GB程度使用されていました。
　このメモリ問題に関しては、とりえず、Google Colabとかを使うのがいいのでは？
・PNGによるdepth情報の編集を示しましたが、確か、デフォルトはnumpy?。
　そのデータ(numpy)をガタガタ扱うのができる方は、そちらを編集するのもありかも。
・PNGで表現されたdepthの情報は、どこかで正規化されている気がする。PNGのdepthのレンジを
　　変更しても結果が同じだった気がする。

【3】
・全面が壁のような画像の場合、垂直面がうまく検出できないような気がする。
　　（簡単だと思うので、不思議。）depthの手法をいくつか試したが、
　　いまのところ良いものに出会ってない。