1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AppleのSHARP: 単一画像からリアルタイムで高精度な3Dシーンを生成するモデルについて - 使い方編

1
Posted at

はじめに

こんにちは、しゅんです。
今回は前回の記事の応用編となります。前回ではSHARPの技術的な概要や特徴を紹介しましたが、今回はその実際の使い方に焦点を当てます。SHARPを使って3Dシーンを生成する手順を、具体的に示していきます。

前回の記事です
https://qiita.com/syun88/items/60fff6e7385a19f8e2bd

論文

GitHub

Projecrt Page

Hugging Face model page

1. 使い方の概要

SHARPの推論自体はどのデバイスでも可能ですが、レンダリングを行う場合にはNVIDIAのGPUが必須です。推論自体はかなり速く処理できますが、レンダリングには少し時間がかかります。

今回は、Google ColabのT4 GPUを使用して試しました。モデルの読み込みも含めて、約47秒で完了しました。

以下の手順は公式に書かれている内容に基づいていますが、Google Colabでの操作を重視して記載しています。もし、自分のPCにGPUがある場合は、公式に記載されている手順に従って、仮想環境を作成してから作業してください。

2. 実行手順

2.1. GitHubからのクローン

まず、SHARPのGitHubリポジトリをクローンします。

!git clone https://github.com/apple/ml-sharp.git
%cd ml-sharp
%pip install -r requirements.txt

クローンが完了した後、エラーと再起動の通知が来ることがあります。素直に再起動を行い、その後次のステップに進みます。

2.2. 入力画像ディレクトリの作成

次に、画像を格納するディレクトリを作成します。

%mkdir -p input/images

ここで作成したinput/imagesディレクトリに、推論させたい画像を入れます。例えば、高輪ゲートウェイで撮った植物の写真などです。

2.3. 推論の実行

画像を準備したら、次は推論を開始します。以下のコマンドを実行してください。

!sharp predict -i /content/ml-sharp/input/images -o /content/ml-sharp/output/gaussians

推論が完了すると、PLY形式の点群ファイルが出力されます。これで推論は完了です。この段階では、どのデバイスでも推論可能です。

モデルの読み込みも含めて、約47秒で完了しました。

2.4. レンダリングの実行

次に、レンダリングを行います。レンダリングはかなり計算リソースを消費するため、NVIDIA GPUが必要です。Google ColabのT4を使用した場合、約15分ほどかかりました。

!sharp predict -i /content/ml-sharp/input/images -o /content/ml-sharp/output/gaussians --render

レンダリングが完了した後、出力される3Dシーンを確認できます。

3. 結果

3.1. 入力画像

今回は高輪ゲートウェイで撮影した植物の写真を使いました。以下がその画像です。

IMG_3361.jpg

3.2. 出力結果と確認

画像の点群ファイル(PLY)は、Macのファイルプレビュー機能で確認できます。以下は、Twitterに投稿した際の動画です。

4. まとめ

今回は、SHARPの使い方を実際に試してみましたが、予想以上にスムーズに動作しました。推論は迅速に行え、レンダリングは少し時間がかかるものの、非常に高精度な結果を得ることができました。唯一、レンダリングをMacではできないという点が少し残念でしたが、他のGPUを使えば問題なく処理できると思います。

レンダリングにかかった時間は、Google ColabのT4 GPUを使用して約15分でした。推論は早く、約47秒で完了しました。

今回も最後まで読んでくれてありがとうございます。
次回もまた、SHARPの使い方やさらに詳しい応用方法について紹介していきたいと思います!

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?