概要
こちらの記事は「MEDLEY Summer Tech Blog Relay」の10日目の記事です。
RTX PRO 6000 Blackwellの実用的な使い方を探るべく、ローカルAI配信者を実装しました。本記事では、技術選定の背景、システム構成、および実測した性能をもとにしたクラウドAPIとのコスト比較を紹介します。
はじめに
株式会社メドレーのmatsudaiです。
2026年4月に入社、クラウド歯科業務支援システム「DENTIS」を開発しています。
さて先日、車を買い替えたのですが下取りが予想外に高く、せっかくなのでいわゆるAIパソコンというものを買ってみました。
普段はクラウドのAI製品を使っているのですが、従量課金では使えば使うほど青天井に請求されます。一方でローカルAIは無限に使うことで実質ゼロ円とされている1ので、今回は自律してトークンを消費しつづける「AI配信者」がこのパソコンで作れるかどうか試してみました。
RTX PRO 6000 Blackwell について
これはなに
NVIDIA社のウルトラハイエンドGPUです。ゲーム用途ではなくグラフィックレンダリングやAI用途に位置付けられています。VRAM容量が96GB、AI処理性能2が約3.5PFLOPS、メモリ帯域が約1.8TB/s。少し前ならデータセンターでしか見なかった水準の性能が、2スロットのカード1枚で提供されます。
当該GPUには消費電力・冷却方式が異なる3種類があります。
- Workstation Edition（600W）
- Max-Q Workstation Edition（300W）
- Server Edition（ファンレス）
今回は、BTOパソコンの消費電力・冷却の都合でMax-Q版を購入しました。
購入したBTOパソコン
マシン全体の構成は下記の通りです。
- マザーボード: ASRock X870E Taichi
- CPU: AMD Ryzen 9 9950X3D
- メモリ: DDR5 128GB（4,800 MT/s）
- GPU: NVIDIA RTX PRO 6000 Blackwell Max-Q
- 電源: 1,300W
GPUの性能比較
ローカルでLLMなどのいわゆるAIを動かすとき、GPUのVRAM容量・処理性能・メモリ帯域の3つが性能を左右すると言われています。
VRAM容量は載せられるモデルの上限、処理性能は初回応答までの速さ、メモリ帯域は生成速度につながるためです。
これらを基準に主要な選択肢3を並べると下記となります。
| 機種 | VRAM容量 | AI処理性能 | メモリ帯域 |
|---|---|---|---|
| RTX PRO 6000 Blackwell Max-Q | 96GB | 3.5 PFLOPS2 | 1,792 GB/s |
| RTX 5090 | 32GB | 3.35 PFLOPS2 | 1,792 GB/s |
| DGX Spark | 128GB | 1 PFLOPS2 | 273 GB/s |
| Mac Studio (M3 Ultra) | 96〜512GB | -4 | 819 GB/s |
| MacBook Pro (M5 Max) | 48〜128GB | -5 | 614 GB/s |
これは容量と処理性能・帯域にトレードオフがあることを示します。
RTX 5090は帯域こそRTX PRO 6000と同速ですが、容量が32GBのため巨大なモデルが載りません6。一方DGX SparkやMacは100GBを超える容量を持ちますが、処理性能・帯域はRTXの半分以下で応答性・生成速度に不安があります。モデル性能と速度の両方を満たすのがRTX PRO 6000となります。
何をさせるか
ここまでの話から、今回の環境には次の特性があることが分かります。
- ローカルAIはクラウドに比べて、使えば使うほど安くなる
- RTX PRO 6000 Blackwellは他の機種に比べて、性能の良いモデルが高速に動く
そこで考えたのが「AI配信者」です。
AI配信者（AITuber）とは
AIにキャラクター性を持たせ、YouTuberのようなストリーミング活動をすることと言われています。
例↓
なぜAITuber？
「配信」という形態から高速なレスポンスが必要であり、ゲームプレイでは視覚（画像）が必要です。画像はテキストに比べて桁違いにトークンが大きく、フルHDの画像10枚で3万トークン程度7になります。
これをひたすら繰り返すわけですから、コストパフォーマンスの観点からローカルAIが有利になると考えました。
設計
普段はWebアプリケーションの開発をしているため、Webシステム中心にまとめることにしました。
Ruby on Railsで進行管理、AIの入出力や音声生成の管理を行います。
キャラクターは3Dモデルとして表示し、ブラウザ上で動かすためにThree.jsおよび@pixiv/three-vrmのサンプルモデルを利用します。また、AI用APIとしてOllamaを利用しQwen3.6モデルをホスト（画像・テキスト入力が可能なため）、キャラクターの音声にはVOICEVOXの「ずんだもん」を利用します。
配信の題材としては「2048」というゲームを選びました。
数字が表示された4×4のタイルを上下左右で操作し、同じ数字がぶつかると合計の数字1つにまとまります。この操作を繰り返して「2048」を目指すゲームとなります。
ゲーム実況内の処理サイクルは次の通りです。
- JavaScriptでゲーム画面のキャプチャをRailsに送る
- Railsで画像と会話履歴等をOllamaに送り、次の発話内容・画面の操作を生成する
- Railsで発話内容をVOICEVOXに送り、口パク（モーラ列）と音声を生成する
- Railsから画面に通知、JavaScriptで発話内容・音声・操作を受け取って再生する
リポジトリは https://github.com/matsudai/aituber-poc です。
デモ
盤面を読みつつ自分で手を決めて進めていく様子です。
（画像認識や思考を挟むため、最初・手の合間では10〜30秒程度沈黙することがあります）
動かしている間のリソースは下記の通りです。
GPU使用率は生成中で約90%、消費電力は300W未満、VRAM使用量は約44GB（モデル本体約40GB＋キャッシュ）で96GBの半分にも届いていません。別途試した画像生成では300Wに張り付いたため、電力的にも今回はフル稼働はしていないと言えます。
また、そもそもGPUが遊んでいる時間もあり稼働率はおよそ3割程度でした。画面の再生中は何も生成していないためです。
クラウドAIとのコスト比較
この配信をクラウドAPIで賄うといくらかかるか概算します。
今回は1ターンあたり512pxの画像1枚と入力約1,000トークン、出力約2,100トークンを消費し、ペースは平均35秒に1ターン（100ターン/時）でした。これをクラウドAI製品のAPI利用料に換算すると以下の通りです8。
| モデル | 入力 / 1MTok | 出力 / 1MTok | 今回の消費量換算 時間あたり |
|---|---|---|---|
| OpenAI GPT-5.6-sol | 5.00 USD | 30.00 USD | 980円 |
| Claude Opus 4.8 | 5.00 USD | 25.00 USD | 830円 |
| Claude Sonnet 5 | 3.00 USD | 15.00 USD | 500円 |
| OpenAI GPT-5.6-terra | 2.50 USD | 15.00 USD | 490円 |
| Gemini 3.1 Pro | 2.00 USD | 12.00 USD | 390円 |
| Gemini 3.5 Flash | 1.50 USD | 9.00 USD | 290円 |
| OpenAI GPT-5.6-luna | 1.00 USD | 6.00 USD | 200円 |
| Claude Haiku 4.5 | 1.00 USD | 5.00 USD | 170円 |
今回のパソコンを200万円として比較すると、API利用料を回収するのに必要な時間がわかります。
Claude Sonnet 5では約4,000時間、さらに安価なGemini 3.5 Flashでは約6,800時間と、現行では回収はなかなか厳しいものがあります。強みとして押し出すのであれば金銭的なコストパフォーマンスではなく、品質面ではモデルを固定することによるキャラクター性の安定、業務で使うならセキュリティ（機密性）向上を目的とするのが良さそうです。
また、今回はGPUの稼働率が30%でVRAM容量に余裕があったので、再生中に別のタスクを行う（例：今までの話の要約やコメントへの反応の並列化など）ことでこの差を縮めることも可能でしょう。
おわりに
今回はローカルAIの使い道として、自律してゲーム実況をする仕組みが作れるかどうか試してみました。ローカルLLMは遅くて低品質のイメージがありましたが、最新のモデル・良いハードウェアがあれば思ったより自然に受け答えができるように見えました。
課題としてはGPU稼働率の改善、インターネット検索や長期記憶などの「道具」を使わせることなど多くありますので、今後も改善していきたいと思います。
MEDLEY Summer Tech Blog Relay 11日目の記事は、同じくDENTIS開発グループの @avaice さんです！
明日もお楽しみに！✨
メドレーではエンジニアを積極採用中です！
メドレーではRubyを積極的に活用して、医療ヘルスケアの未来をつくるプロダクトを開発しています。
医療ヘルスケア領域の課題解決に興味がある方は、ぜひお気軽にご連絡ください！