#最初にアウトプット

**勝手にdepthのみ feat. intel-isl の。**の結果です。

ここでは、下記の２つのgithubのアウトプットを混ぜています。
前者に対して、depthの算出のみ後者に置き換えています。
深い意味はありません。良い結果が得られることを期待しましたが、
とりあえず、あまり良いことは起きていません。

役割分担	github
depth以外	https://github.com/vt-vl-lab/3d-photo-inpainting 1枚の写真から3D画像が作成できる
depth	https://github.com/intel-isl/MiDaS 1枚の写真からdepthを算出できる

#概要
写真1枚で
高精度な3D画像↓　簡単作成できるよう。

写真1枚で高精度な3D画像簡単作成やってみた【1】。(depthがPNGで編集できるようになりましたよ。)
の記事参照。

ここでは、

depthは、本来の処理を使わずに変わりに、替わりに、 intel-islのgithubのを使って作成（PNG)し、それを採用してみた（↑これが手順のすべて）

⇒　勝手に、コラボレーション
⇒⇒　いいとこどりが、できないかと

以下が、本来のものの論文とgithub。

https://arxiv.org/pdf/2004.04727.pdf
論文『3D Photography using Context-aware Layered Depth Inpainting』
Meng-Li Shih1　さんら

githubは、以下。
https://github.com/vt-vl-lab/3d-photo-inpainting

depthの情報（PNG)を作成するために使った
intel-islのgithubは、以下。
https://github.com/intel-isl/MiDaS

#結果

上で、一番最初に示したものが、結果です。
オリジナル（＝　 intel-isl のMiDaS　に置換えていないの）は、
写真1枚で高精度な3D画像簡単作成やってみた【1】。(depthがPNGで編集できるようになりましたよ。)
の記事参照。

ちょっと、条件がずれているのかな？良くはないです
**ただ、よくなっている部分もある。**気がする。

#結果追加
「depthをintel-islに置き換え」のなしとありの結果を比較。
⇒　少し、ありが良い気もします。しかし、まだまだ、あちこち破綻してますね。
⇒⇒　もう少し、丁寧な処理だと、うまくいくのかな？？（いや、今の技術の限界か？）

（１）サンプル１
＜元（depthをintel-islに置き換えなし）＞

　
＜depthをintel-islに置き換え＞

（２）サンプル２
＜元（depthをintel-islに置き換えなし）＞

＜depthをintel-islに置き換え＞

#更に別のdepth estimationを使ってみた。(2020/06/13)
githubは、以下。
https://github.com/ialhashim/DenseDepth
[High Quality Monocular Depth Estimation via Transfer Learning (arXiv 2018)]

※処理都合により画像の範囲を少し変更しています。

⇒　depth estimationの手法にかかわらず、共通の問題等もみえる。
　　尚、もともと、隠れている領域は、別の問題。

※上記のgithubは、室内を重視しているので、室内で試してみた。（少し良いかも）

↓↓　比較（元々のdepth)

#役立つかもしれない情報
・全面が壁のような画像の場合、垂直面がうまく検出できないような気がする。
　　（簡単だと思うので、不思議。）depthの手法をいくつか試したが、いまの
ところ良いものに出会ってない。

#今後
もう少し、別途、丁寧に検討したいと思います。
素朴に、以下、２つわからない。

PNGの絶対値。（なんとなく雰囲気のわかるグレースケールになっていたので良しとした。）
垂直面（壁）とか水平面が簡単にわからないのかな。。。（なぜ、うまく認識できないのだろうか？）

また、将来的には、depth estimationは更に強力なものが出るのはないか。

コメントなどあれば、お願いします。

参考。
写真1枚で高精度な3D画像簡単作成やってみた【2】。(depthをnumpyで加工してみる)
上に記載していますが、念のため↓
写真1枚で高精度な3D画像簡単作成やってみた【1】。(depthがPNGで編集できるようになりましたよ。)

写真1枚で高精度な3D画像簡単作成やってみた【0】。(空間の捉え方を確認した)

写真1枚で高精度な3D画像簡単作成やってみた【-1】。(隠れた領域が、本当に見えるのか？)

#役立つかもしれない情報（一連の記事【-1】～【3】総合）
【1】
・GFORCE GTX1050Ti（専用GPUメモリ4.0GB)では、
GPUのメモリ不足で動かない場合あり。
　これは、画像サイズに依存するのではなく、
　おそらく、画像の中身で3Dの表現に必要なメモリ量の関係か何か。
　解決策、見つけていません。パラメータ変更等でなんとかなるのかも。
赤い車ので、専用GPUメモリ3.4GB程度、白のは2.7GB程度使用されていました。
　このメモリ問題に関しては、とりえず、Google Colabとかを使うのがいいのでは？
・PNGによるdepth情報の編集を示しましたが、確か、デフォルトはnumpy?。
　そのデータ(numpy)をガタガタ扱うのができる方は、そちらを編集するのもありかも。
・PNGで表現されたdepthの情報は、どこかで正規化されている気がする。PNGのdepthのレンジを
　　変更しても結果が同じだった気がする。

【3】
・全面が壁のような画像の場合、垂直面がうまく検出できないような気がする。
　　（簡単だと思うので、不思議。）depthの手法をいくつか試したが、
　　いまのところ良いものに出会ってない。