概要
リンゴ屋さんが3DGS系の3D生成モデルをリリースしていたので、ローカルで動かしてみます。
一応、VRAM6GB環境でも動きそうです。
環境
OS:Windows 11
GPU:GeForce RTX 3060 laptop
CPU:i7-10750H
memory:32G
手順
以下のコマンドで、リポジトリをダウンロードします。
git clone https://github.com/apple/ml-sharp
cd ml-sharp
以下のコマンドで、python 3.13の仮想環境を構築できるようにします。
winget install -e --id astral-sh.uv
uv --version
uv python install 3.13
python 3.13の仮想環境を構築します。
uv venv --python 3.13 .venv
アクティベイトし、pipをインストールする。
.venv\Scripts\activate
curl -L -o .venv\Scripts\get-pip.py https://bootstrap.pypa.io/get-pip.py
.venv\Scripts\python.exe .venv\Scripts\get-pip.py
必要なライブラリをインストールする。
.venv\Scripts\python.exe -m pip install --upgrade pip setuptools wheel
.venv\Scripts\python.exe -m pip install -r requirements.txt
.venv\Scripts\python.exe -m pip uninstall -y torch torchvision torchaudio
.venv\Scripts\python.exe -m pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128
以下のコマンドで、sharpを動くことを確認する。
sharp --help
フォルダの作成とモデルのダウンロードを実施する。
mkdir input\images
mkdir output\gaussians
mkdir models
curl -L -o models\sharp_2572gikvuh.pt https://ml-site.cdn-apple.com/models/sharp/sharp_2572gikvuh.pt
ml-sharp\input\images\ に jpg/png/heic などの3Dモデルにする画像を配置します。
以下のコマンドで、3Dモデルを生成する。
sharp predict -i "input\images" -o "output\gaussians"
結果
GPUメモリは12GB（VRAM6GB+共有メモリ6GB）ぐらいで、生成時間は120秒でした。
（ちなみに4090だと20秒です。）
output\gaussiansに.plyファイルが出力されています。
思ったよりも3Dですね。
そして綺麗。
今回はこのファイルをsparkを使って確認しています。
sparkの構築は大変ですが、以下で確認してください。