ソースコードについて@Babylon.js 勉強会 vol.2
初めに
https://babylonjs.connpass.com/event/276698/
今更ですが僕の発表「LT 2 2D画像を3Dモデルに変換して表示するアプリを作ってみる」のソースコードについて記述しておきたいと思います。
発表資料
概要
機械学習(単眼深度推定モデル)を用いて2D画像を3Dモデルに変換し表示するアプリケーションを作成した。
アプリケーションの構成図
実行環境
- python:3.9
- FastAPI
- huggingface.co
ソースコード
https://huggingface.co/spaces/nagauta/image2mesh
機械学習のロジックはimage2mesh by mattiagattiをそのまま使用している。
今回の発表のため、上記をAPIとして利用できるようにfastAPIでラップした。またWEBアプリケーションとして実行できるように編集をおこなった。
アウトプット
サンプルのbed.pngを読み込ませた場合(結構待ち時間アリマス)
- ファイルを選択を押下する
- 変換するを押下する
- オブジェクトが表示されるまで気長に待機する
リファレンス
Generate a 3D Mesh from an Image with Python
image2mesh by mattiagatti
所感
画像によっては微妙なモデルが表示されてしまう。
理解を深めていき解決策を調査したい。
HuggingFaceを初めて使用したが、機械学習を試すのに気軽でめっちゃ便利だなあと思った。
TODO
本稿に深層学習モデルやソースコードの解説を追記予定。