ソースコードについて@Babylon.js 勉強会 vol.2

初めに

https://babylonjs.connpass.com/event/276698/
今更ですが僕の発表「LT 2 2D画像を3Dモデルに変換して表示するアプリを作ってみる」のソースコードについて記述しておきたいと思います。

発表資料

概要

機械学習(単眼深度推定モデル)を用いて2D画像を3Dモデルに変換し表示するアプリケーションを作成した。

アプリケーションの構成図

実行環境

python:3.9
FastAPI
huggingface.co

ソースコード

https://huggingface.co/spaces/nagauta/image2mesh
機械学習のロジックはimage2mesh by mattiagattiをそのまま使用している。
今回の発表のため、上記をAPIとして利用できるようにfastAPIでラップした。またWEBアプリケーションとして実行できるように編集をおこなった。

アウトプット

サンプルのbed.pngを読み込ませた場合(結構待ち時間アリマス)

ファイルを選択を押下する
変換するを押下する
オブジェクトが表示されるまで気長に待機する

リファレンス

Generate a 3D Mesh from an Image with Python
image2mesh by mattiagatti

所感

画像によっては微妙なモデルが表示されてしまう。
理解を深めていき解決策を調査したい。
HuggingFaceを初めて使用したが、機械学習を試すのに気軽でめっちゃ便利だなあと思った。

TODO

本稿に深層学習モデルやソースコードの解説を追記予定。