個人開発でAIサーバを設計してみた 〜30人同時利用ならどんな構成になる？〜

はじめに

ChatGPTの登場をきっかけに、「自分でもAIサービスを作ってみたい」と考える人は増えました。

ところが、実際に運営を始めようとすると、

• どのAIモデルを選ぶべきか
• GPUは何枚必要なのか
• サーバはいくらかかるのか
• 毎月どれくらいの維持費が必要なのか

といった現実的な問題に直面します。

今回は、法律相談AIを例に、個人開発でも運用を目指せる30人同時利用を前提としたAIサーバを設計してみます。

要件

サービス

• 法律相談AI
• 日本語対応
• チャット形式

非機能要件

• 24時間稼働
• 同時利用30人
• 応答時間5秒以内

採用構成

今回は次の構成を採用します。

項目	採用
LLM	Qwen3
モデルサイズ	14B
推論方式	INT4

結論

この条件で見積もると、構成は次のようになります。

項目	結果
必要VRAM	約90GB（KV Cache含む）
必要性能	約2,400 Tokens/s
GPU	RTX 5090 ×3
サーバ消費電力	約1.5〜2.0kW
初期費用	約150〜250万円
電気代（PUE込み）	約4〜6万円/月

内訳

AIの基礎

ニューラルネットワークは、一般にノードとエッジから構成されるモデルとして説明されます。

ノードは入力されたデータを計算し、その結果を次の層へ渡します。エッジには学習によって得られた重みが保存されており、その値を使って情報を変換します。

今回採用する14Bモデルの「14B」は、約140億個のパラメータを持つことを表しています。イメージとしては、約140億本のエッジに重みが設定されていると考えると分かりやすいでしょう。

また、INT4は各パラメータを4bit整数で表現する量子化方式を意味します。

トークン数を見積もる

今回は、ユーザーからの質問として次のような相談を想定します。

私は製造業を営む中小企業の経営者です。
創業以来20年以上にわたり事業を続けており、現在は従業員約40名を雇用しています。
近年は業績も安定していましたが、原材料費や人件費の高騰により利益率が低下しており、経営の見直しを進めています。
そのような中、当社の営業担当者が退職し、退職から数か月後に同業他社へ転職しました。
その後、以前から当社と取引のあった複数の顧客が相次いで取引を終了し、その元社員が勤務する会社へ契約を切り替えていることが分かりました。
当社では営業資料や顧客情報を社内システムで管理していますが、退職前にその社員が顧客情報を持ち出した可能性があります。また、退職時には秘密保持に関する誓約書へ署名してもらっていましたが、競業避止義務については明確な契約を結んでいません。
現在、顧客情報の不正利用があったのか、また元社員や転職先企業に対して法的措置を取ることができるのか判断できず困っています。

相談したい内容
1. 顧客情報を持ち出して営業活動に利用した場合、どのような法律に違反する可能性がありますか。
2. 元社員に対して損害賠償請求や差止請求を行うことはできますか。
3. 転職先企業が顧客情報の持ち出しを知った上で利用していた場合、その企業にも責任を問うことはできますか。
4. 今後同様のトラブルを防ぐために、雇用契約や社内規程ではどのような点を整備すべきでしょうか。
5. 法的措置を検討する場合、まずどのような証拠を収集・保存しておくべきでしょうか。
以上について、現時点で取るべき対応と、法的に認められる可能性についてご相談したいと考えています。

およそ1,000文字の入力なので、約1,000トークンと見積もります。

入力は約1,000トークン、出力は約400トークンを想定します。

応答時間を5秒以内とすると、必要な生成速度は

400 ÷ 5 = 80 Tokens/s

になります。

30人が同時に利用する場合は、

80 × 30 = 2,400 Tokens/s

となるため、約2,400 Tokens/sの推論性能が必要です。

LLMの選定

採用するLLMによって、必要なVRAMや推論速度、GPU台数、消費電力、サーバ価格まで変わります。そのため、AIサーバ全体の構成を決めるうえで最も重要な要素の一つです。

代表的なオープンソースLLMには次のようなものがあります。

モデル	特徴
Qwen	日本語性能が高く、商用利用しやすい
Llama	利用実績が多く、対応ツールが豊富
Gemma	比較的軽量で扱いやすい

今回は法律相談AIを想定しているため、日本語で自然な回答を生成できることを重視しました。

また、個人開発を前提とする以上、商用利用しやすく、ローカル環境でも扱いやすいことも重要です。

こうした条件を踏まえ、今回はQwen3を採用します。

Qwen3は日本語性能が高く、オープンソースLLMの中でも実用性の高いモデルとして広く利用されています。

以降のVRAMやGPUの見積もりも、このモデルを前提に進めます。

パラメータ数の選定

LLMにはさまざまなサイズがあり、パラメータ数が増えるほど性能も高くなる傾向があります。

パラメータ数が大きいモデルは、複雑な質問や長い文脈を扱いやすく、専門分野でも回答品質が向上します。

その一方で、必要なVRAMは増え、推論速度は低下しやすくなります。GPUの台数も増えるため、消費電力や運用コストも大きくなります。

今回は次の候補を比較しました。

モデル	特徴
7B	軽量で動かしやすいが、専門分野では回答品質に不安が残る
14B	品質とコストのバランスが良い
32B	回答品質は高いが、必要なGPUが増える
70B	非常に高品質だが、個人開発では運用コストが大きい

法律相談AIでは、雑談用途よりも文脈理解や回答品質が求められます。そのため、7Bではやや心許ありません。

一方、32B以上になると必要なGPUやVRAMが大きく増え、個人開発としては初期費用も維持費も重くなります。

そこで今回は、品質とコストのバランスを考え、14Bを採用しました。

推論方式の選定

LLMを選んだら、次に決めるのが推論方式です。

学習済みモデルはFP16やBF16のような高精度な形式で保存されていますが、そのまま推論すると大量のVRAMを消費します。

そこで利用されるのが、モデルの重みを少ないビット数で表現する量子化です。

代表的な方式は次のとおりです。

方式	特徴
FP16	高精度だがVRAM消費が大きい
INT8	精度とVRAMのバランスが良い
INT4	VRAMを大きく削減でき、高速に推論できる

INT4を採用すると、モデルサイズを小さくできるため、必要なVRAMを抑えられます。その結果、同じGPUでより多くのユーザーを処理でき、GPU台数や消費電力も削減できます。

量子化によって回答品質がわずかに低下することはありますが、近年の手法ではその影響は小さく、チャット用途であれば十分実用的な品質を維持できるケースが増えています。

今回は運用コストを重視し、INT4を採用しました。

必要VRAMを計算する

概算は次のとおりです。

• モデル 約8GB
• Runtime 約4GB
• KV Cache 約2.6GB ×30人

合計すると約90GBになります。

GPU候補は次のようになります。

GPU	VRAM
RTX 5070	12GB
RTX 5090	32GB
RTX PRO 6000 Blackwell	96GB
H100	80GB

価格と性能のバランスを考え、今回はRTX 5090を3枚利用する構成を採用します。

消費電力

RTX 5090の最大消費電力（TBP）は約600Wですが、LLM推論では常に最大電力で動作するわけではありません。

概算すると次のようになります。

機器	消費電力
RTX 5090 ×2〜3	約900〜1,500W
CPU	約200〜250W
その他（SSD・メモリ・ファンなど）	約150〜250W

合計すると、サーバ全体の消費電力は約1.5〜2.0kWになります。

初期費用

概算は次のとおりです。

項目	概算
RTX 5090 ×2〜3	約80〜120万円
CPU・メモリ・SSD・電源	約50〜70万円
ケース・マザーボード	約30〜40万円
その他	約20万円

合計すると、初期費用は約150〜250万円になります。

電気代

24時間稼働した場合の消費電力量は約1,080〜1,440kWh/月です。

電気料金を30円/kWh、PUEを1.4として計算すると、電気代は約4〜6万円/月になります。

おわりに

今回は、30人同時利用を想定したAIサーバの構成を見積もりました。

結果は次のとおりです。

• 初期費用 約150〜250万円
• 電気代 約4〜6万円/月

AIサービスを自前で運営するには、一般的なWebサービスよりも大きな設備投資が必要になります。

もちろん、クラウドGPUを利用したり、より小さなモデルを採用したりすれば、初期費用や運用コストを抑えることは可能です。

それでも、AIサービスはモデルを選べばすぐに運営できるものではありません。モデルの性能だけでなく、GPU、VRAM、電源、運用コストまで含めて設計する必要があります。

AIサービスを現実的な形で運営するには、必要な設備とコストを把握したうえで、自分に合った規模から始めることが大切です。