はじめに
AMD Ryzen AI Max+ 395の内蔵GPU、Radeon 8060SでYOLO26nを動かし、物体検出デモ「yolodemo」のライブ測定で 平均606.2 FPS を達成しました。入力サイズは448×448、バッチサイズは1、演算精度はFP32です。
動画入力と検出結果の配信が動作している状態で、30秒の測定を3回行いました。各回の結果は600.4、610.5、607.6 FPSで、いずれも600 FPSを超えています。
このFPSは、最新の入力フレームに対して完了した推論の回数を表します。同じフレームを繰り返し推論するため、30 FPSの映像でも推論FPSは600を超えます。毎秒600枚の異なる映像フレームを取り込み、描画・配信したという意味ではありません。
公開しているリポジトリはこちらです。
デモ動画
実際の動作はこちらの動画で確認できます。
yolodemoでできること
yolodemoは、USBカメラやローカル動画を入力に、ブラウザで物体検出結果を確認するデモです。画面上のスライダーでRadeon GPUとRyzen AI NPUを切り替えられます。
GPUとNPUの推論入力は、ともに448×448、batch=1です。表示映像は元の縦横比を維持し、推論FPSと入力FPSを分けて表示します。カメラ入力では1920×1080・30 FPSを要求し、実際に取得できた解像度や入力FPSも確認できます。
今回紹介する600 FPS超えはGPU側の結果です。GPUではFP32 ONNXモデルをMIGraphXで実行し、NPU側ではA16W8量子化とCPU分類ヘッドを組み合わせた別の構成を使っています。
測定環境
ライブ測定ログに記録されたGPU環境は次のとおりです。
| 項目 | 構成 |
|---|---|
| プロセッサー | AMD Ryzen AI Max+ 395 |
| GPU | AMD Radeon 8060S Graphics（gfx1151） |
| OS | Ubuntu 26.04.1 LTS |
| モデル | YOLO26n |
| 入力 | 1×3×448×448、固定shape |
| 演算精度 | FP32 |
| Python | 3.12.13 |
| PyTorch | 2.13.0+rocm10.0.0 |
| Ultralytics | 8.4.194 |
| ONNX Runtime | 1.29.0 |
| 推論バックエンド | MIGraphXExecutionProvider |
MIGraphX関連パッケージの版などは、公開版の環境記録にもまとめています。過去のPyTorch FP16構成とは実行環境が異なるため、比較するときは測定ごとの精度・バックエンド・入力サイズを確認してください。
600 FPSを超えた測定結果
動画を入力し、MJPEGストリームを受信しながら、GPUワーカーの推論完了カウンターを測定しました。
| 試行 | 推論完了回数 | 実測時間 | 推論FPS |
|---|---|---|---|
| 1 | 18,014 | 30.003秒 | 600.4 |
| 2 | 18,304 | 29.981秒 | 610.5 |
| 3 | 18,241 | 30.023秒 | 607.6 |
| 合計 | 54,559 | 90.007秒 | 606.2 |
合計のFPSは、全試行の推論完了回数を、全試行の実測時間の合計で割った値です。計測スクリプトはデモの状態APIからカウンターを取得し、推論停止やバックエンドの変更も確認します。
GPUでは各推論の実行後に同期し、完了を確認してからカウンターを増やします。GPUへの実行要求をキューに積んだ回数を数える方式ではありません。
測定に含まれる処理
推論ループでは、GPU上に保持したFP32入力に対してMIGraphXを実行します。新しいフレームが届いた際の入力更新と、表示に必要な検出結果のCPU転送もループ内で行います。
動画デコード、letterboxによる前処理、映像配信は並行して動作します。この測定にはそれらとの競合による負荷がありますが、各推論に毎回デコードから表示までを行う構成ではありません。606.2 FPSの逆数は約1.65 msですが、この値は映像取得からブラウザ表示までの遅延を表しません。
推論単体の5分測定
別途保存した推論単体の測定では、5分間で182,834回、平均609.4 FPSでした。こちらはGPU入力を事前確保し、画像読込・前処理・入力コピー・結果転送・JSON生成・描画を含めない条件です。
ライブ測定の606.2 FPSと推論単体の609.4 FPSは、測定範囲と時間が異なります。ライブデモで5分間600 FPS超えを検証した結果としては扱っていません。測定記録と条件は、yolofast_pubのGPU測定結果で確認できます。
GPU実装で行ったこと
GPUワーカーでは、固定shapeのFP32 ONNXモデルをONNX RuntimeのMIGraphX Execution Providerで実行しています。実装はyolodemoのGPUワーカーで公開しています。
入力バッファとI/O Bindingを再利用する
入力用のGPUバッファは初期化時に確保し、繰り返し使います。PyTorchのテンソルをDLPack経由でONNX RuntimeのOrtValueに変換してI/O Bindingに登録することで、同じGPUメモリを入力として指定できます。
新しい映像が届いたときは、ページロックしたホストメモリを経由してGPU入力を更新します。推論を繰り返すたびに、入力領域を確保し直す必要はありません。
MIGraphX側でHIPグラフを再生する
GPUワーカーでは、次の設定を有効にしています。
os.environ['ORT_MIGRAPHX_HIP_GRAPH_ENABLE'] = '1'
固定した入力バッファと組み合わせ、MIGraphX側でHIPグラフを再生する構成です。初期化時にはモデルの入力shape・型・出力shapeとI/O Bindingの利用を確認し、MIGraphXを使う条件を満たさない場合は起動を停止します。
ただし、今回の記録だけからHIPグラフ単独の高速化率は求めていません。公開したグラフ再生あり・なしの測定は実行時間や順序が揃っていないためです。
FP32を採用し、検出結果も確認する
今回採用したのはFP32構成です。FP16の候補は検出照合に失敗したため、採用結果には含めていません。
デモ起動時には、実画像3枚と合成入力5個の計8入力を使い、FP32 PyTorchとFP32 MIGraphXの検出結果を比較します。信頼度0.25以上の検出に対して、検出数・クラスの一致、IoU 0.95以上、スコア差0.03以下を要求します。今回のライブ測定ログでは、8入力すべてが合格しています。
これとは別に、同じ448入力のFP32構成をCOCO val2017全5,000枚で評価した記録も公開しています。
| 実行方式 | COCO mAP50–95 |
|---|---|
| FP32 PyTorch | 35.762346% |
| FP32 MIGraphX | 35.762364% |
この評価ではmAPがほぼ一致しました。評価条件は信頼度0.001以上、同じletterbox処理と座標復元、COCOevalのbbox評価、maxDets=[1,10,100]です。起動時の8入力による照合とは別の検証であり、640入力の結果とも区別しています。
精度評価と不採用構成を含む記録は、公開GPU測定結果を参照してください。
AMD公式でもUltralyticsのAMD GPU対応を紹介
AMDは2026年10月26日付のブログ記事、Ultralytics YOLO on AMD GPUs: Train, Run, and Deploy with ROCm™で、UltralyticsのAMD GPU対応を紹介しています。
公式記事では、PyTorchとROCmによるYOLO26の学習・推論、およびONNX Runtime経由のMIGraphX実行を説明しています。検証済みプラットフォームにはRyzen AI Max+ PRO 395も含まれています。今回使用したMax+ 395とは製品表記が異なりますが、Ryzen AI Max系でも同じソフトウェア構成を検討する際の参考になります。
公式記事の基本的な使い方は、UltralyticsでモデルをONNXにエクスポートし、そのONNXを読み込んで推論する流れです。yolodemoでも同じMIGraphX Execution Providerを使い、固定GPU入力バッファやI/O Bindingを組み合わせて推論ループを実装しています。
公式記事の「最大67%のレイテンシ削減」は、複数のモデル・タスクを評価した中の最大値です。本記事の448入力・ライブ測定とは条件が異なるため、600 FPS達成の比較値には使っていません。
デモを動かすには
ソースコードは次のコマンドで取得できます。
git clone https://github.com/kotetsuy/yolodemo.git
cd yolodemo
GPU・NPUランタイム、モデル重み、校正・検証画像などを準備したうえで、モデルを生成して起動します。デモはGPUとNPUの両ワーカーを初期化するため、両方の前提環境が必要です。
./create_models.sh --setup-quant
./create_models.sh --check
./create_models.sh
./start_all.sh
起動すると、ブラウザで http://127.0.0.1:8000 を開きます。測定用の入力を用意し、デモが動作している状態で、次のコマンドからGPUを30秒×3回測定できます。
.venv/bin/python scripts/benchmark_demo.py \
--backends gpu \
--seconds 30 \
--repeats 3
モデル・画像・SDKはリポジトリに含めていません。公開ツールを取得しただけで測定環境が揃う構成ではないため、環境準備の範囲と依存関係はyolodemoの日本語READMEとyolofast_pubのREADMEを確認してください。実行環境や入力動画によってFPSは変わります。
おわりに
Ryzen AI Max+ 395のRadeon 8060Sで、FP32のYOLO26nをライブデモ中に平均606.2 FPSで実行できました。固定shape、入力バッファの再利用、I/O Binding、MIGraphXによる実行を組み合わせた結果です。
内蔵GPUでの処理速度に加え、同じ画面でGPUとNPUを切り替えて試せる点も、このデモの特徴です。コードや測定条件に関心があれば、yolodemoとyolofast_pubを参照してください。