社内でローカルLLMを動かすなら、まず必要メモリと費用で機材が決まります。公式スペックと実売価格をもとに、用途別に何を買えばいいかを整理しました。
社内でローカルLLMを動かしたいと思っても、GPUの製品名や性能値を見比べるだけでは、何を買えばよいかは決まりません。先に答えるべきなのは、「何を動かしたいか」と「いくらかかるか」の二つです。
この記事では、公式のモデルサイズ、ハードウェア仕様、クラウドとAPIの価格をつなぎ、情シスや経営層が自社に必要な選択肢を判断できるように整理します。
目次
- なぜ今ハードウェアの話をするのか
- 何を動かしたいかで、必要なメモリが決まる
- 速さはカタログの性能値ではなく「メモリ帯域幅」で決まる
- 買う前に知っておくべき4つの落とし穴
- 買う・借りる・APIを使う、どれが安いか
- まとめ
なぜ今ハードウェアの話をするのか
「社内でもAIを動かしたい」となったとき、多くの担当者は、まずGPUの製品名や性能値を見比べ始めます。しかし、それだけでは機材は決まりません。必要な性能は、何を動かすかによって決まるためです。
その判断を今のうちに持つ必要があるのは、AI向け需要がメモリの価格と供給条件を変えつつあるためです。Micronの2026年5月期第3四半期決算では、DRAMの平均販売価格が前四半期比60%台、NANDが80%台上昇し、日銀の企業物価指数（2026年6月速報）でも、輸入物価の電気・電子機器は前年比25.7%上昇、押し上げ品目には外部記憶装置などが挙がっています。さらにMicronは2025年12月、AIデータセンター市場で急増するメモリ需要を理由に、消費者向けブランドCrucialからの撤退を発表しました。 AI向け需要でメモリの価格が上がり、個人・法人向けの供給が後回しになりつつある以上、購入判断を先送りするほど条件は悪くなります。だからこそ今のうちに、「何をどう選ぶか」の基準が必要です。
そもそも、ローカルを選ぶ動機として多い「クラウドのAPIに送った情報が学習に使われるのでは」という懸念は、事実と分けて考える必要があります。OpenAIは、明示的にオプトインしない限りAPIへ送信したデータをモデルの学習や改善に使わないと説明し、AnthropicのCommercial Termsも、サービス上の顧客コンテンツをモデルの学習に使わないと定め、Googleも、有料サービスのプロンプトや応答を製品改善に使わないと明記しているとおり、主要三社はいずれも業務利用データの扱いを公式に示しています。
それでも自社に機材を持つ理由は、閉域網やオフラインでしか扱えない現場があること、社内規程や業界規制によって外部送信そのものが認められないこと、そして大量に処理するとAPI課金が効いてくることです。
逆に、「情報漏えいが怖いから」という理由だけでローカルを選ぶのは、判断として十分ではありません。各社のデータ利用条件を確認したうえで、それでも残る閉域網・規制・稼働量の要件から選ぶべきです。
何を動かしたいかで、必要なメモリが決まる
機材から選ばない。動かしたいモデルから決める。モデルが決まれば必要メモリが決まり、必要メモリが決まれば機材はほぼ一意に決まる。
量子化とは、モデルの重みの精度を落としてファイルを小さくする処理です。llama.cpp公式のperplexity実測では、Q4_K_M以上なら品質の劣化はごくわずかですが、Q2_Kまで落とすと明確に悪化しています。まずはQ4_K_M程度が基準です。容量と品質のバランスを取りやすくなります。
| 用途 | 現実的なモデル | 量子化後のサイズ（公式実測） | 必要メモリの目安 | 収まる機材（税込実額） |
|---|---|---|---|---|
| 社内文書の要約・下書き（日本語） | Qwen3-14B | Q4_K_M 9GB | 16GB | Mac mini M4 Pro 24GB 約28万円 / RTX PRO 4000 24GB 約34〜42万円 |
| 社内文書の要約・下書き（精度重視） | Qwen3-14B | Q8_0 15.7GB | 24GB | Mac mini M4 Pro 24GB 約28万円 / RTX PRO 4000 24GB 約34〜42万円 |
| 手軽に試す・低レイテンシ | gpt-oss-20b | MXFP4 13.76GB | 16GB | Mac mini M4 24GB 約20万円 / RTX 5070 Ti 16GB 約18〜19万円 |
| 画像も読ませる | Gemma 4 31B | Q4_0 17.7GB | 24〜32GB | RTX PRO 4500 32GB 約55〜67万円 / Mac Studio M4 Max 36GB 約42万円 |
| 複雑な推論・エージェント | gpt-oss-120b | 合計65.2GB | 80GB以上 | RTX PRO 6000 96GB 約225〜240万円 / Mac Studio M3 Ultra 96GB 約90万円 |
| 70B級を素の精度で | Llama 3.3 70B-Instruct | BF16 合計139.4GB | 140GB超 | 単体機では収まらない（複数枚 or クラウド） |
Qwen3-14B・gpt-oss-20b・gpt-oss-120b・Gemma 4 31BはいずれもApache 2.0で、商用利用できます。Llama 3.3 70B-InstructはLlama 3.3 Community Licenseで、月間アクティブ利用者7億人を超える企業のみMetaの許諾が必要です。
サイズはすべて公式配布ページの実測ファイルサイズで、取得日は2026年7月31日です。gpt-oss-20bは公式に「16GBのメモリで動作する」、gpt-oss-120bは「単一の80GB GPUに収まる」と説明されています。必要メモリの目安は、モデル本体のサイズに同時利用分の余裕を加えて本記事が算出した概算です（詳しくは後述）。
速さはカタログの性能値ではなく「メモリ帯域幅」で決まる
LLMが回答を一語ずつ生成するデコード段階では、演算能力より、モデルの重みをメモリからどれだけ速く読み出せるかが効きます。NVIDIAはデコードを「memory-bound operation」と説明し、Appleも後続トークンの生成は演算能力ではなくメモリ帯域幅に制約されるとしています。
Appleの実測では、M4の120GB/sからM5の153GB/sへ帯域幅が28%増えたのに対し、生成速度は19〜27%向上しました。帯域幅と生成速度がほぼ比例する実例です。
次の式は出典に掲載された式ではなく、上記の公式説明から本記事で組んだ、バッチ一つを前提とする概算です。
1秒あたりに生成できるトークン数の上限 ≒ メモリ帯域幅(GB/s) ÷ モデルのサイズ(GB)
例) 帯域幅 819GB/s の機材で 9GB のモデル → 毎秒90トークン前後が上限
ただし、上限どおりには出ません。llama.cpp公式の実機計測では、7B Q4_K_MでM2 Maxが18.2 tok/s、RTX 4080が62.5 tok/sでした。実測は概算上限の半分から数分の一になると見ておくのが安全です。
買う前に知っておくべき4つの落とし穴
安いGPUを並べても大きいモデルは動かない
GeForce RTX 5090の公式ページは「NVIDIA NVLink (SLI-Ready): No」とし、RTX 6000 Adaのデータシートも「NVIDIA NVLink: No」と明記しています。複数枚を挿してもPCIe経由の独立GPUで、VRAMは合算されません。大きいモデルを動かすなら、一枚あたりのVRAMが大きいGPUを選ぶ必要があります。
オフィスの電源が先に足りなくなる
RTX PRO 6000のTDPは600Wです。日本のオフィスの一般的な目安として、100V・15A系統は瞬間最大1500Wなので、PC本体込みでは一系統の大半を占有します。二枚挿しはGPUだけで1200W超となり、同じ系統では成立しません。サーバールームか電源工事まで含めた検討になります。
同時に何人使うかで必要メモリが変わる
Ollama公式では、並列実行数は既定1で、必要RAMは「並列数×コンテキスト長」に比例します。複数人が同時に使うなら、モデル本体とは別にKVキャッシュの余裕が必要です。一台で全社を賄う想定は最初から避けます。
話題のモデルが、自社で動かせるとは限らない
Moonshot AIのKimi K3は、総パラメータ2.8兆・アクティブ104BのMoEで、2026年7月に重みが公開されました。公式の運用環境には「64基以上のアクセラレータで構成するスーパーノード」が挙げられています。公式の量子化版配布はありません。
ライセンスも独自の「Kimi K3 License」で、一定規模以上の商用利用には追加の条件が付きます。
Kimi K3 を動かすのに必要なもの（本記事による換算）
公式が挙げる運用環境: アクセラレータ64基以上のスーパーノード
├ AWS の H100×8 搭載インスタンス（p5.48xlarge, $68.80/時）に置き換えると 8ノード
└ 合計 $550.40/時 ＝ 1日8時間動かすと $4,403.20/日
重みをメモリに載せるだけで:
総パラメータ 2.8兆 × 4bit（ネイティブMXFP4）÷ 8 ＝ 約1.4TB
├ RTX PRO 6000（96GB・約225万円）で 15枚以上 ＝ GPUだけで約3,375万円
└ Mac Studio M3 Ultra（96GB・約90万円）で 15台以上 ＝ 約1,350万円
上の数字は、公式が示す運用環境と公式のパラメータ数・量子化形式（MXFP4）に、本記事でAWSのクラウド料金と機材価格を掛け合わせた換算です。KVキャッシュや冗長構成は含んでいないため、実際にはさらに必要になります。ここまで来ると「自社の1台で動かす」という規模の話ではありません。話題になったモデルで最初に確認すべきなのは、性能の評判ではなく、パラメータ数・量子化形式・ライセンス条件の三点です。
買う・借りる・APIを使う、どれが安いか
| 選択肢 | 価格（公式・取得日2026-07-31） | 向いている場面 |
|---|---|---|
| 自社で買う | RTX PRO 4000 24GB 約34〜42万円／Mac Studio M3 Ultra 96GB 約90万円／RTX PRO 6000 96GB 約225〜240万円 | 毎日使う。閉域網が必須 |
| クラウドGPUを借りる | H100 1枚: AWS $8.60/時、Azure $10.121/時、さくら 990円/時 | 検証・短期。使う時間が読めない |
| APIを使う | Claude Sonnet 5 $3/$15、gpt-5.6-luna $0.20/$1.20、Gemini 3.6 Flash $1.50/$7.50 | 大半の業務。まずここから |
API価格は1Mトークンあたりの入力/出力です。
損益分岐は、次の式に自社の条件を入れて比較します。
月あたり自社 = 購入価格 ÷ (耐用年数 × 12) + 消費電力kW × 電力単価 × 月間稼働時間 + 保守運用費
月あたり借りる = クラウド時間単価 × 月間稼働時間
- 購入価格: 機材の税込購入額
- 耐用年数: 自社で使う想定年数
- 消費電力kW: 機材の消費電力
- 電力単価: 契約中の1kWhあたり単価
- 月間稼働時間: 1か月に動かす時間
- 保守運用費: モデル更新や障害対応にかかる月次費用
電気代の目安は、資源エネルギー庁の事業者向け全事業者平均が20.53円/kWh（2024年度）、東京電力の高圧ベーシックが17.43円/kWhです。
まずAPIで始め、閉域網の要件が出てくるか、稼働時間が増えて自社購入のほうが月額で安くなった時点で買う。これが順序です。順番を間違えると、月に数十時間しか回さない機材に数百万円を払うことになります。
まとめ
- 機材から選ばない。動かしたいモデルから決める
- Q4_K_M程度の量子化なら品質の劣化はごくわずか。まずサイズを落として構わない
- 速さはメモリ帯域幅でほぼ決まる。カタログの演算性能ではない
- GPUを並べてもVRAMは合算されない。一枚あたりの容量で選ぶ
- オープンウェイトで公開されていることと、自社で動かせることは別。パラメータ数とライセンスで判断する
- まずAPIで始める。閉域網要件か稼働時間が損益分岐を超えたときに買う
本記事の数値はすべて2026年7月31日時点の公式情報・実売価格です。