1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

第1部:RTX3060×2で作る“家内クラウドAIサーバー”構想

1
Posted at

1. なぜ RTX5060Ti 16GB を見送り、RTX3060 12GB×2 にしたのか

最初の案は「RTX 5060 Ti 16GB を2枚買って、16GB×2の強力なマシンにする」でした。
実際、ベンチマークを見ると、単体性能では RTX 5060 Ti 16GB の方が RTX 3060 12GB より 30%前後高いという評価が多いです。

しかし、LLM用途・家内サーバーという観点で検討を進めると、次の点が見えてきました。

総VRAM量

  • RTX 5060 Ti 16GB ×1 → 16GB

  • RTX 3060 12GB ×2 → 24GB

ローカルLLMは「1GPUあたりのVRAM」と同時に「総VRAM量」も効いてくるため、並列推論を考えると 3060×2 も十分魅力的です。

消費電力と電源の余裕

  • RTX 3060 12GB は TBP 約170〜175W 程度というレビューが多く、アイドル時は 10W 前後に収まる例もあります。

  • 3060×2 構成なら、GPU 部分で 350W 前後を見ておけばよく、既存の 850W Gold 電源で余裕を持って運用できます。

コストと入手性

すでに RTX 3060 12GB を2枚所有しており、追加投資なしで始められる。

5060Ti×2を新規購入するより、今ある3060を活かした方が「物価上昇前に組む」という目的に合う。

その結果、

  • 「単体性能は 5060Ti が上だが、既存の 3060×2 でも LLMサーバーとして十分戦える」
  • 「省電力とコストのバランスも良い」

という判断に落ち着き、RTX 3060 12GB ×2 構成で行くことにしました。

GPU構成イメージ比較(LLM目線)

項目 RTX 3060 12GB ×2 RTX 5060 Ti 16GB ×1
合計VRAM 24GB(12GB ×2) 16GB
1GPUあたりVRAM 12GB 16GB
性能(単体のFP32目安) ベースとすると +0% +30%前後のベンチ結果多数
消費電力(GPU部) 約170W×2 ≒ 340W 前後 約180W 前後(見込み)
電源 850W との相性 かなり余裕あり 1枚なら十分、2枚なら要検討
コスト(今回の前提) 既に所有 → 追加投資なし 新規で高価なカードを購入
LLM用途の向き不向き 並列に複数モデルを回す・総VRAM重視 1モデルあたりの余裕・16GB重視

2. たまたま揃ったPCパーツで組めた“家内クラウド”マシン

手元に余っていた/安く入手できたパーツを組み合わせることで、NVMeやメモリを含めた「家内クラウドAIサーバー」が自然に形になりました。

  • マザーボード:ASRock B550M Pro4

    • PCIe x16 スロットを2本持ち、上段 x16・下段 x4 動作という構成。

    • RTX 3060 を2枚挿ししても現実的なレイアウトが可能。

  • CPU:Ryzen 5 5500

    • 6コア12スレッドで、LLM推論時の前処理やOpen WebUIのバックエンド程度なら十分。
  • メモリ:32GB

    • 7B〜13Bクラスのモデルを量子化して使う分には不足なし。
  • SSD:512GB

    • OS+LM Studio+いくつかのモデルを入れるのに十分。必要に応じてデータ用SSDやHDDを後付けできる。
  • 電源:80+ Gold 850W

    • RTX 3060 12GB×2 + Ryzen 5500 構成でも、実測消費電力は十分余裕内に収まる見込み。

「GPUだけ新規購入して、あとは余りパーツ」という構成ではなく、結果的に 手持ちの3060×2と既存パーツだけで、LLMサーバーに十分な構成が組めた 形になりました。

3. Ubuntu Budgie 24.04 を採用した理由

OSには Ubuntu Budgie 24.04 を選びました。

Budgie デスクトップは GNOME系の中でも UI が洗練されていて、

  • Dockやパネルの構成がシンプル

  • 設定パネルも分かりやすい
    ため、家族に画面を見せる場面でも扱いやすい。

Ryzen 5500+NVMe環境で、起動時間が20〜22秒程度と軽快で、

サーバー用途だけでなく、「デスクトップに触りながら管理」するスタイルにも向きます。

Ubuntu 24.04 系なので、NVIDIAドライバやDocker、LM Studio AppImageの相性も良く、情報も拾いやすい。

次回は、構成と手順です

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?