Appleが公開したDepthProを使って、Webカメラでリアルタイム推論を試してみた

まず一言、[RealSense RealSense RealSense RealSense RealSense RealSense RealSense RealSense] が欲しい！！！！！
冗談はさておき、今回はAppleがリリースしたDepthProモデルを使用して、ノートパソコンのWebカメラを使ってリアルタイムで深度推定を行う方法について紹介します。

Appleが2024年10月4日に公開したDepthProは、単独のカメラで深度推定ができるモデルです。公開後すぐに試してみましたが、やはりWebカメラを使ってリアルタイムで結果を表示させたいと思いました。そこで、この数日間の余裕を使ってチャレンジし、見事に動かすことができました！

以下はその紹介とコード、そして動画です。

公式リンク：

一応公式のやり方を紹介

まずは、GitHubリポジトリからクローンします。

git clone https://github.com/apple/ml-depth-pro.git

次に、main.pyを作成します（公式のやり方ではありませんが、私はwebカメラを動くためにmain.py作っただけ）。

cd ml-depth-pro
touch main.py
python3 -m venv .venv 
source .venv/bin/activate

必要なライブラリをインストールします：

pip install huggingface-hub
huggingface-cli download --local-dir checkpoints apple/DepthPro
pip install -e .
pip install opencv-python

公式のサンプルコードは以下のように実行できます：

# 単一の画像で深度推定を実行
depth-pro-run -i ./data/example.jpg
# 詳細オプションは depth-pro-run -h で確認できます

Webカメラを使う場合、仮想環境に入った状態で以下のコマンドを実行します：

python3 main.py

Webカメラ対応のカスタムコード

僕は、apple/depth_pro/ml-depth-pro/src/depth_pro/cli/run.pyのコードを参考にしながら、Webカメラを利用したリアルタイムの深度推定コードを作成しました。ほとんどの部分はGPTが助けてくれました。やっぱりGPTは頼りになりますね！

環境

OS: Ubuntu 24.04
GPU: GeForce RTX 3080 laptop (8GB)
メモリ: 40GB

デバイス選択の説明

以下のget_torch_device()関数で、利用可能なデバイスを自動的に選択します。CUDA対応GPUがあればGPUが選ばれ、Apple Siliconなら「mps」、それ以外はCPUが選択されます。理論上、Macでも動作可能ですが、今回はMacでは試していません。

def get_torch_device() -> torch.device:
    """Get the Torch device."""
    if torch.cuda.is_available():
        device = torch.device("cuda:0")
        print("Using GPU (CUDA)")
    elif torch.backends.mps.is_available():
        device = torch.device("mps")
        print("Using GPU (MPS)")
    else:
        device = torch.device("cpu")
        print("Using CPU")
    return device

動画です。チャンネル登録よろしくお願いします

www

Webカメラ用のコード（Full CODE）

以下が、Webカメラを使ったリアルタイムの深度推定を行うための完全なコードです：

#!/usr/bin/env python3
"""Modified script to run DepthPro with webcam input."""

import logging
import cv2
import torch
from matplotlib import pyplot as plt
from PIL import Image
from depth_pro import create_model_and_transforms
import numpy as np

LOGGER = logging.getLogger(__name__)

def get_torch_device() -> torch.device:
    """Get the Torch device."""
    if torch.cuda.is_available():
        device = torch.device("cuda:0")
        print("Using GPU (CUDA)")
    elif torch.backends.mps.is_available():
        device = torch.device("mps")
        print("Using GPU (MPS)")
    else:
        device = torch.device("cpu")
        print("Using CPU")
    return device


def run_webcam():
    """Run Depth Pro on webcam input in real-time."""
    # Load model.
    model, transform = create_model_and_transforms(
        device=get_torch_device(),
        precision=torch.half,
    )
    model.eval()

    cap = cv2.VideoCapture(0)  # Open webcam, 0 is usually the default webcam ID

    if not cap.isOpened():
        LOGGER.error("Error: Could not open webcam.")
        return

    plt.ion()
    fig = plt.figure()
    ax_rgb = fig.add_subplot(121)
    ax_disp = fig.add_subplot(122)

    while True:
        ret, frame = cap.read()
        if not ret:
            LOGGER.error("Error: Could not read frame from webcam.")
            break

        # Convert OpenCV image (BGR) to PIL Image (RGB)
        image = Image.fromarray(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))

        # Run prediction
        prediction = model.infer(transform(image), f_px=None)

        # Extract the depth map
        depth = prediction["depth"].detach().cpu().numpy().squeeze()

        # Display the original frame and depth map
        ax_rgb.imshow(image)
        ax_disp.imshow(depth, cmap="turbo_r")
        fig.canvas.draw()
        fig.canvas.flush_events()

        # Show the frame and depth map in OpenCV windows
        normalized_depth = (depth - depth.min()) / (depth.max() - depth.min())
        color_depth = (plt.get_cmap("turbo_r")(normalized_depth)[..., :3] * 255).astype(np.uint8)
        cv2.imshow("Webcam", frame)
        cv2.imshow("Depth Map", color_depth)

        # Exit when 'q' is pressed
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

    cap.release()
    cv2.destroyAllWindows()


if __name__ == "__main__":
    run_webcam()

まとめ

[RealSense RealSense RealSense RealSense RealSense RealSense RealSense RealSense] が欲しい！！！
カメラを使うとFPSが低下するのは避けられませんが、カメラの画素設定や処理の最適化で改善できる可能性はあります。まだその部分は試していませんが、工夫次第で良くなるかもしれませんね。

最後まで読んでいただき、ありがとうございました。拡散よろしくお願いします！