0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@rino_yume(rino yume)

Ollama + AnythingLLMで実用的なローカルRAGを構築するためのGPU選定ガイド2026年9月18日版

0
Posted at

Ollama + AnythingLLMで実用的なローカルRAGを構築するためのGPU選定ガイド2026年9月18日版

更新日: 2026-09-18
対象: Ubuntu / Docker / Ollama / AnythingLLM を使ったローカル文書RAG
方針: 「動く最大モデル」ではなく、日常的に使いやすい構成を重視する

はじめに

Ollama + AnythingLLM でローカルRAGを構築するとき、GPU選定で最も重要なのは VRAM容量 です。

GPUの演算性能も応答速度に影響しますが、まずモデル本体とContext用メモリがGPUに収まらないと、CPU/RAMへのオフロードが発生し、体感速度が大きく落ちます。

そのため、GPU選定では次の順番で考えるのが分かりやすいです。

使いたいLLM
   ↓
モデルの量子化サイズ
   ↓
必要なContext長
   ↓
Embeddingモデル
   ↓
同時利用数
   ↓
必要VRAM

この資料では、Ollama公式ドキュメントとOllama公式モデルライブラリで確認できる情報を基準に整理します。

1. まず理解しておきたいこと

1.1 モデルのファイルサイズ = 必要VRAMではない

Ollamaのモデルページには、たとえば次のようなサイズが表示されています。

モデル Ollama上のサイズ
qwen3:4b 約2.5GB
qwen3:8b 約5.2GB
qwen3:14b 約9.3GB
qwen3:30b 約19GB
qwen3:32b 約20GB

これはモデルファイルのサイズであり、実際の推論ではさらにContext用のKV cacheやランタイム用メモリが必要です。

したがって、

16GB GPU
+
16GBモデル
=
余裕を持って動く

とは考えない方が安全です。

GPUにどの程度ロードされたかは、Ollamaの

ollama ps

で確認できます。

理想的には、

PROCESSOR
100% GPU

になっている状態を目指します。

Ollama公式も、CPUへのオフロードを避け、ollama ps の PROCESSOR を確認することを案内しています。

1.2 Contextを増やすとVRAM使用量も増える

Ollama公式では、VRAM容量に応じたContextのデフォルト値を次のようにしています。

VRAM デフォルトContext
24 GiB未満 4K
24～48 GiB 32K
48 GiB以上 256K

ただし、これは「このContextなら必ず快適」という意味ではありません。

Contextを大きくすると必要メモリも増えるため、ローカルRAGでは最初から最大Contextにするのではなく、

4K
↓
8K
↓
16K

のように必要性を確認しながら増やす方が運用しやすいです。

通常の文書RAGでは、全文を毎回LLMへ送るのではなく、Vector Searchで関連Chunkだけを取り出すため、必ずしも巨大なContextは必要ありません。

1.3 AnythingLLMよりOllama側のGPU使用量が支配的

一般的な構成は次のようになります。

Browser
   ↓
AnythingLLM
   ↓
Vector Search
   ↓
Ollama
 ├─ LLM
 └─ Embedding
   ↓
GPU

AnythingLLMはWorkspace、チャットUI、文書管理、Vector DBとの連携を担当します。

LLM生成やOllama Embedderを使用したEmbeddingでは、主なGPU負荷はOllama側で発生します。

したがってGPU容量を決めるときは、主に

  • LLMモデル
  • Embeddingモデル
  • Context長
  • 同時ロードモデル数
  • 同時リクエスト数

を見ます。

2. Qwen3を基準にしたVRAM別の考え方

2026-09-18時点のOllama公式ライブラリでは、主なQwen3モデルは次のサイズです。

qwen3:4b    約 2.5GB
qwen3:8b    約 5.2GB
qwen3:14b   約 9.3GB
qwen3:30b   約19GB
qwen3:32b   約20GB

これを基準に、実用的なローカルRAG構成を考えます。

2.1 VRAM 8GB

現実的な候補

LLM
  qwen3:4b
  qwen3:8b

Embedding
  qwen3-embedding:0.6b

Qwen3 Embedding 0.6BはOllama上で約639MBです。

構成例

GPU 8GB
   ↓
qwen3:8b
   +
qwen3-embedding:0.6b

向いている用途

  • 1人～少人数
  • 社内PDF検索
  • 技術資料検索
  • マニュアル検索
  • 数値・文章の抽出
  • 簡潔な要約

運用ポイント

VRAM 8GBでは、LLMとEmbeddingモデルを同時常駐させるより、

OLLAMA_MAX_LOADED_MODELS=1
OLLAMA_NUM_PARALLEL=1

として、必要に応じてモデルを入れ替える構成が扱いやすいです。

Contextはまず4K～8K程度から確認します。

評価

最小クラスの実用構成。

RAGの回答生成そのものは8Bクラスでも十分成立します。

ただし、大きなAgent処理、全文要約、長大なContext、複数人の同時利用には余裕が少なくなります。

3. VRAM 12GB

現実的な候補

LLM
  qwen3:8b

条件付き
  qwen3:14b

Embedding
  qwen3-embedding:0.6b
  qwen3-embedding:4b

qwen3:14b のモデルサイズは約9.3GBです。

12GB GPUでもモデル本体とのサイズ差はありますが、Contextやランタイム用メモリの余裕は16GBクラスより小さくなります。

そのため、12GBでは

qwen3:8b

を余裕を持って使う方が扱いやすい構成です。

評価

8Bを快適に使うためのGPU容量として有力。

14Bを使う場合は、実際のContext設定と ollama ps によるGPUロード状態の確認が必要です。

4. VRAM 16GB

ローカルRAG用途では非常にバランスを取りやすいクラスです。

現実的な候補

LLM
  qwen3:8b
  qwen3:14b

Embedding
  qwen3-embedding:0.6b
  qwen3-embedding:4b

Qwen3 14Bは約9.3GB、Qwen3 Embedding 4Bは約2.5GBです。

バランス型

GPU 16GB

LLM
  qwen3:14b

Embedding
  qwen3-embedding:0.6b

まずはこちらから始めてもよいでしょう。

検索品質も比較する場合

LLM
  qwen3:14b

Embedding
  qwen3-embedding:4b

ただし、Embeddingモデルを大きくすれば必ず自分の文書で検索精度が向上するとは限りません。

実際のPDFから、

  • 数値検索
  • 固有名詞検索
  • 条件検索
  • 類似文章検索
  • 文書横断検索

などの質問セットを作り、0.6Bと4Bを比較するのが確実です。

評価

一般的なローカルRAGで最もバランスを取りやすいVRAMクラス。

8Bより14Bを使いたい場合に、まず検討したい容量です。

5. VRAM 24GB

このクラスから30B級が選択肢に入ります。

Qwen3

qwen3:30b  約19GB
qwen3:32b  約20GB

構成例

GPU 24GB
   ↓
qwen3:30b
   +
qwen3-embedding:0.6b / 4b

ただし24GBに19～20GBのモデルを載せる場合、16GB GPUで14Bを使う構成よりVRAMの余裕は小さくなる可能性があります。

つまり、

24GB GPUだから30Bが常に軽快

とは限りません。

Contextを大きくすると追加メモリが必要なので、ollama ps で 100% GPU を確認する必要があります。

もう一つの使い方

24GB GPUであえて

qwen3:14b

を使えば、VRAMに余裕を持たせやすくなります。

これは、

  • Contextを増やす
  • 応答速度を優先する
  • 安定運用する

場合に有効です。

評価

品質重視で30B級へ進みたい場合の入口。

「最大モデルを載せる」より「14Bを余裕を持って使う」という使い方も十分合理的です。

6. VRAM 32GB

30B級を扱う場合に余裕が増えるクラスです。

構成例

GPU 32GB

LLM
  qwen3:30b
  または
  qwen3:32b

Embedding
  qwen3-embedding:4b

Qwen3 30Bが約19GB、32Bが約20GBなので、24GB構成よりContextやランタイムメモリの余裕を取りやすくなります。

評価

30B級をローカルRAGの主力として使いたい場合に有力。

24GBより「載せるだけ」から「運用する」方向へ余裕を取りやすくなります。

7. VRAM 48GB以上

このクラスでは、単にモデルを載せるだけではなく、

大きめContext
+
大型Embedding
+
複数モデル
+
複数ユーザー

を考えられるようになります。

例

qwen3:30b
+
qwen3-embedding:8b

Qwen3 Embedding 8BのOllama上のサイズは約4.7GBです。

向いている環境

  • 部署内共用RAG
  • 複数ユーザー
  • 長文解析
  • Agent利用
  • コーディング支援との兼用
  • 大きなContextが必要な用途

評価

個人用文書RAGでは余裕が大きいが、共有サーバー用途では意味が出てくるクラス。

8. VRAM別まとめ

「必ず動く」という保証表ではなく、OllamaのモデルサイズとContext特性から見た 運用開始時の目安 です。

VRAM RAG用LLM候補 Embedding候補 位置付け
8GB qwen3:4b / qwen3:8b 0.6B 最小実用クラス
12GB qwen3:8b 0.6B / 4B 8Bを余裕を持って使用
16GB qwen3:14b 0.6B / 4B バランス型
24GB qwen3:14b / qwen3:30b 4B 30B級の入口
32GB qwen3:30b / qwen3:32b 4B / 8B 30B級の主力運用
48GB+ 30B級 + 大Context等 8B 共有・高負荷用途

9. コストも含めたGPU比較

GPU選定では、VRAM容量だけでなく GPU単体価格とPC全体の予算 を一緒に見る必要があります。

以下は 2026年9月18日時点の日本国内価格を確認した代表例 です。GPU価格はメーカー、冷却方式、在庫状況で大きく変わるため、1円単位の価格ではなく「予算レンジ」を見るための資料として使います。

価格は2026年9月18日時点の掲載価格・最安値を基にしています。購入時には必ず最新価格を再確認してください。

9.1 GPU単体の大まかな予算感

VRAM 代表GPU 2026年9月18日の確認価格 RAGで想定するモデルクラス コスト面の見方
8GB RTX 4060 8GB 約10万円前後 4B～8B級 既存GPU再利用向き。新品購入なら16GB品との価格差を確認
12GB RTX 5070 12GB 約12.5～15.5万円 8B級中心 演算性能は高いが、RAGではVRAM 12GBが上限要因になりやすい
16GB RTX 4060 Ti 16GB 既設なら追加0円 / 新品残存在庫は概ね15～20万円台の掲載例 8B～14B級 既設PCを活用するなら非常に有力。新規購入なら5060 Ti 16GBとも比較
16GB RTX 5060 Ti 16GB 約12～15万円 8B～14B級 新品でVRAM容量を重視する場合の有力候補
16GB RTX 5070 Ti 16GB 約16.8～21万円 8B～14B級 同じ16GBで推論速度を上げたい場合
24GB RTX 3090 24GB（中古） 約20万円前後から 14B～30B級 VRAM単価は魅力。ただし中古・消費電力・保証を要確認
24GB RTX 4090 24GB（新品残存） 約69万円～ 14B～30B級 2026年時点では残存在庫が高価で、価格面では選びにくい
32GB RTX 5090 32GB 約85～94万円 30B級 30B級を余裕を持って動かす用途。GPU単価は大幅に上がる
48GB RTX 6000 Ada 48GB 約110万円 30B級 + 大Context / 複数用途 ECC・業務用途向け。個人RAGには高価

価格確認例

9.2 PC一式で購入する場合の予算感

GPUだけでなく、CPU、RAM、SSD、電源、ケースを含めた完成PCで見ると予算が変わります。

2026年9月18日時点の国内BTO掲載例では、RTX 5060 Ti 16GB搭載PCが約26～36万円、RTX 5070 Ti 16GB搭載PCが約46～49万円、RTX 5090 32GB搭載PCが約134～181万円でした。

GPU BTO掲載例 コメント
RTX 5060 Ti 16GB 約26～36万円 ローカルRAGを新規導入する場合に現実的な価格帯
RTX 5070 Ti 16GB 約46～49万円 VRAMは16GBのまま、演算性能を上げる構成
RTX 5090 32GB 約134～181万円 30B級・高速推論向けだが、導入費は一気に上がる
RTX 6000 Ada 48GB GPUだけで約110万円 ワークステーション全体は構成依存。業務用途として個別見積りが必要

BTO価格の確認例

RTX 5060 Ti 16GB:

RTX 5070 Ti 16GB:

RTX 5090 32GB:

9.3 RAG用途では「VRAM 1GBあたりの価格」も見る

LLM用途ではゲーム性能だけでなく、VRAM容量にいくら払うか が重要です。

たとえば、16GBのRTX 5060 TiとRTX 5070 Tiはどちらも搭載できるモデルサイズの上限はVRAM容量の影響を強く受けます。

RTX 5060 Ti 16GB
        ↓
14B級を狙える

RTX 5070 Ti 16GB
        ↓
同じく14B級を狙える
        ↓
ただし演算性能は上

そのため、

少人数の文書RAG
回答が数秒～十数秒で十分

という用途なら、VRAM 16GBを比較的安価に確保できるGPUの方が費用対効果が良くなる可能性があります。

逆に、

同じ16GBでも
できるだけ生成を速くしたい

なら上位GPUに意味があります。

9.4 2026年9月時点での予算別の考え方

既存PCを活用する

予算:

追加費用 0～数万円

既に8GB以上のNVIDIA GPUを持っているなら、まず買い替えずに8B級を動かしてRAG品質を評価する方が合理的です。

RAGでは、GPUを高価なものへ交換する前に、

  • OCR
  • Chunk
  • Embedding
  • Queryモード
  • Prompt

を調整する余地があります。

既設のRTX 4060 Ti 16GBを活用する

既に社内PCへ RTX 4060 Ti 16GB が搭載されている場合、ローカルRAG用GPUとして優先的に評価する価値があります。

追加GPU購入費は、

0円

なので、まず既設ハードで

qwen3:14b
+
qwen3-embedding:0.6b

を基準に検証します。

必要に応じて、

qwen3-embedding:4b

も比較します。

16GB VRAMなので、一般的な構成目安としては14B級LLMを狙えるクラスです。ただし、実際に使用するContext長、Ollamaのバージョン、量子化方式によってVRAM消費は変わるため、

ollama ps
nvidia-smi

で 100% GPU になっているかを確認します。

コスト面では、既設RTX 4060 Ti 16GBを使って14B級RAGを評価し、それで不足した場合だけ上位GPUへ投資する流れが最も無駄がありません。

また、2026年9月時点ではRTX 4060 Ti 16GBは旧世代製品で、残存在庫の新品価格が必ずしも安くありません。新規購入ならRTX 5060 Ti 16GBと価格・性能を比較し、既設ならRTX 4060 Ti 16GBを活用するという判断が分かりやすいです。

新規導入・コスト重視

目安:

GPU単体
  約12～15万円

PC一式
  約26～36万円

候補:

RTX 5060 Ti 16GB
+
qwen3:14b
+
qwen3-embedding:0.6b

新規のローカル文書RAGでは、価格とVRAMのバランスを取りやすい構成です。

速度も重視

目安:

GPU単体
  約17～21万円

PC一式
  約46～49万円

候補:

RTX 5070 Ti 16GB
+
qwen3:14b

モデル容量はRTX 5060 Ti 16GBと大きくは変わりませんが、生成速度側に予算を使う考え方です。

VRAM容量を安価に増やしたい

候補:

中古 RTX 3090 24GB

2026年9月18日の国内中古掲載例では約20万円から確認できます。

24GBを確保できるため30B級を試せますが、

  • 中古品
  • 個体状態
  • 保証
  • 高い消費電力
  • 電源容量
  • 冷却

を確認する必要があります。

新品だけを前提にした選択とは分けて考えます。

30B級を余裕を持って使う

目安:

RTX 5090 32GB
GPU単体 約85～94万円

完成PC 約134万円～

30B級を日常利用するためのVRAM余裕は得やすくなりますが、16GBクラスと比べてコストは大幅に増えます。

「30Bが本当に業務上必要か」を14B環境で評価してから導入する方が無駄がありません。

業務サーバー・ワークステーション

候補:

RTX 6000 Ada 48GB

GPU単体で約110万円の掲載例があります。

これは個人用RAGよりも、

  • ECC
  • 大Context
  • 複数利用
  • 業務サーバー
  • 長時間運用

などに費用を払うクラスです。

9.5 コストを含めた選定表

用途 GPU候補 VRAM GPU予算の目安 LLM 判断
既存PC活用 RTX 4060 Ti 16GB 16GB 追加0円 14B級 既設なら最優先で評価する候補
既存PC活用 その他の手持ちNVIDIA GPU 8GB～ 追加0円～ 8B級～ まず既存GPUから検証
新規・コスト重視 RTX 5060 Ti 16GB 約12～15万円 14B級 価格/VRAMのバランスが良い
新規・速度重視 RTX 5070 Ti 16GB 約17～21万円 14B級 同じVRAMで速度へ投資
中古・VRAM重視 RTX 3090 24GB 約20万円～ 30B級も検討 中古リスクを許容できる場合
30B主力 RTX 5090 32GB 約85～94万円 30B級 高価。必要性を先に検証
業務WS RTX 6000 Ada 48GB 約110万円 30B級 + 大Context ECC・共有用途

9.6 コスト面での現実的な選び方

一般的な社内文書RAGでは、GPUを高価にするほど費用対効果が一直線に上がるわけではありません。

たとえば、

16GB GPU
約12～20万円
        ↓
14B級

32GB GPU
約85万円～
        ↓
30B級

となり、VRAMを2倍にするためのGPU購入費が2倍で済むとは限りません。

そのため、新規導入ではまず

16GB GPU
        ↓
14B級でRAGを構築
        ↓
実際の業務質問で評価
        ↓
不足する場合だけ30B級へ

という順番がコスト面でも安全です。

RAG用途では「高価なLLMで全文を読ませる」よりも、

適切なOCR
+
適切なChunk
+
適切なEmbedding
+
Vector Search
+
必要十分なLLM

の方が、低コストで実用的なシステムになる場合があります。

10. Visionも使うならGemma 3

PDFの文章だけでなく、

  • 図
  • 写真
  • グラフ
  • スキャン資料
  • ページ画像

をVisionモデルへ直接入力したい場合にはGemma 3も候補になります。

Ollama公式では、

gemma3:4b    約 3.3GB
gemma3:12b   約 8.1GB
gemma3:27b   約17GB

となっています。

4B、12B、27BはText + Imageに対応しています。

ただし通常の文書RAGでは、

PDF
 ↓
OCR
 ↓
Text
 ↓
Embedding
 ↓
Vector Search

という構成がシンプルです。

Visionモデルは「PDFの図表そのものを理解したい」という要件が出てから追加しても遅くありません。

11. Embeddingモデルの選び方

Qwen3 EmbeddingのOllama公式サイズは次の通りです。

モデル サイズ
qwen3-embedding:0.6b 約639MB
qwen3-embedding:4b 約2.5GB
qwen3-embedding:8b 約4.7GB

100以上の言語をサポートするとされています。

日本語RAGでは、

0.6B
 ↓
4B
 ↓
8B

と段階的に比較する方法が適しています。

最初から8Bにする必要はありません。

RAG検索品質は、

  • OCR品質
  • Chunkの切り方
  • Chunkサイズ
  • 文書構造
  • Similarity Threshold
  • Top N
  • 質問文
  • Embeddingモデル

の組み合わせで決まるためです。

12. 「モデルを大きくすればRAG精度が上がる」とは限らない

ローカルRAGで重要なのは、LLMだけではありません。

質問
 ↓
Vector Search
 ↓
関連Chunk
 ↓
LLM
 ↓
回答

という流れなので、Vector Searchが間違ったChunkを返した場合、30Bモデルでも正しい回答を作れないことがあります。

RAGでは次の順番で改善する方が合理的です。

1. PDF抽出品質
2. OCR品質
3. Chunk
4. Embedding
5. Vector Search設定
6. Prompt
7. LLMサイズ

特に技術文書では、

固有名
数値
単位
施設名
型番
規格
年月日

などを正しく検索できることが重要です。

13. AnythingLLMではQueryモードを基本にする

単純なPDF検索でAgentを使うと、

Agent
 ↓
RAG Tool
 ↓
Document Summarizer
 ↓
複数回LLM推論

のように処理が増えることがあります。

文書RAGだけなら、

質問
 ↓
Vector Search
 ↓
関連Chunk
 ↓
LLM
 ↓
回答

で十分です。

そのためAnythingLLMでは、まず Queryモード から始める方が構成を理解しやすく、性能評価もしやすくなります。

Agentは、

  • Web検索
  • Tool Calling
  • 複数処理
  • 外部システム操作

が必要になった段階で追加します。

14. 小容量GPUでは同時ロードを抑える

Ollamaは、メモリに余裕があれば複数モデルを同時ロードできます。

一方、メモリが足りなければ新しいモデルをロードするまでリクエストを待機させます。

小～中容量GPUでは、まず次の設定が分かりやすいです。

OLLAMA_MAX_LOADED_MODELS=1
OLLAMA_NUM_PARALLEL=1

これにより、

Embedding処理
 qwen3-embedding
      ↓
終了

質問
 qwen3
      ↓
回答

のように必要なモデルを切り替えて使います。

Ollama公式によると、OLLAMA_NUM_PARALLEL を増やすと、並列数に応じてContext用メモリも増加します。

そのため、RAG環境を作った直後から並列数を増やすのではなく、まず1で安定性を確認します。

15. Multi-GPUについて

Ollamaは複数GPUにも対応します。

公式仕様では、

  1. モデルが1枚のGPUに完全に収まる場合
    → そのGPUへロード

  2. 1枚には収まらない場合
    → 利用可能な複数GPUへ分散

という動作になります。

Ollamaは、1枚へ収めた方がPCIe越しのデータ転送を減らせるため、通常はその方が高性能と説明しています。

したがって、

16GB × 2

と

32GB × 1

は同じではありません。

30B級モデルを主力にするなら、単一GPUで十分なVRAMを確保できる構成の方が運用は単純です。

一方、

  • 既存GPUを再利用する
  • 大型モデルを試す
  • モデル分散を許容する

場合にはMulti-GPUも有効です。

16. システムRAMについて

GPU推論ではVRAMが重要ですが、システムRAMも必要です。

AnythingLLM + Ollama + Docker + OCRを同じマシンで動かす場合、

AnythingLLM
Docker
OCRmyPDF
Tesseract
PDF処理
OS
キャッシュ

でもRAMを使用します。

またVRAM不足時にはモデルの一部がCPU/RAMへオフロードされる場合があります。

ただし、

大量RAMがあるからVRAMが少なくても同じ性能

とは考えない方がよいです。

CPUオフロードは動作させるための手段にはなりますが、GPU完結と同じ応答性能にはなりません。

運用目安

以下はOllama公式の必須条件ではなく、Docker/OCR/RAGを同居させる場合の運用上の目安です。

個人検証
  32GB RAM

継続運用
  64GB RAM

複数ユーザー・大型モデル
  64GB以上を個別検討

17. ストレージ

モデルファイルだけでも数GB～数十GBになります。

さらに、

元PDF
OCR済PDF
AnythingLLMデータ
Vector DB
Ollamaモデル
ログ
バックアップ

が保存されます。

推論中の速度はGPUの影響が大きいですが、モデルロードやPDF処理ではストレージ性能も影響します。

可能なら、

OS / Docker / Ollama model
  SSD / NVMe

大量PDF・アーカイブ
  大容量SSD/HDD

のように分けると管理しやすくなります。

18. GPUを選ぶときの考え方

「このGPUなら最大何Bか」だけで選ぶより、

必要な回答品質
        ↓
モデルサイズ
        ↓
必要Context
        ↓
同時利用者
        ↓
Embedding
        ↓
VRAM

で考えます。

個人・PoC

VRAM 8GB
qwen3:8b
qwen3-embedding:0.6b

一般的な社内文書RAG

VRAM 16GB
qwen3:14b
qwen3-embedding:0.6b または 4b

品質重視

VRAM 24～32GB
qwen3:30b
qwen3-embedding:4b

部署内共有・長Context・高負荷

VRAM 48GB以上
30B級
+
必要に応じて大型Embedding

19. 実用性を確認する方法

GPUやモデルを変更したら、必ず実機で確認します。

GPUロード確認

ollama ps

確認する項目は、

PROCESSOR
CONTEXT
SIZE

です。

可能なら、

PROCESSOR = 100% GPU

を目標にします。

NVIDIA GPU

nvidia-smi

確認する項目は、

  • VRAM使用量
  • GPU Utilization
  • Ollama process
  • 温度
  • 消費電力

です。

20. RAG性能は質問セットで評価する

RAGでは単純なLLMベンチマークだけでは足りません。

自分のPDFから答えが分かっている質問を準備します。

例:

Q1. 流域面積は？
Q2. 計画流量は？
Q3. 対象区間の延長は？
Q4. 基準年は？
Q5. ○○施設の目的は？
Q6. 文書に記載されていない事項を質問

評価項目:

検索成功
数値一致
単位一致
出典一致
幻覚の有無
回答時間

そして、

qwen3:8b
qwen3:14b
qwen3:30b

を比較します。

これで初めて「自分の業務では14Bで十分」「30Bが必要」と判断できます。

21. 推奨する初期構成

一般的なローカル文書RAGを新規構築する場合、バランスを重視するなら次の構成から評価を始める方法があります。

なお、既にRTX 4060 Ti 16GBを搭載したPCがある場合は、新しいGPUを購入する前にその環境で14B級を評価するのがコスト面では合理的です。

Ubuntu
Docker Compose

GPU
  VRAM 16GB

Ollama
  qwen3:14b
  qwen3-embedding:0.6b

AnythingLLM
  Query Mode
  Vector DB
  Workspace

OCR
  OCRmyPDF
  Tesseract jpn+eng

まず0.6B Embeddingで検索精度を評価し、必要なら4Bへ変更します。

LLMについても14Bで不足する場合に、24～32GB GPU + 30B級へ進みます。

この順番なら、「GPUを最大まで使う」ことではなく「必要な品質を満たす最小構成」を探せます。

22. 完全ローカル運用について

Ollama公式では、ローカルで実行した場合、プロンプトや回答をOllama側が見ることはないと説明しています。

またCloud機能を明示的に無効化する場合は、

OLLAMA_NO_CLOUD=1

を設定できます。

完全ローカル環境を構築する場合は、Ollamaだけでなく、

  • AnythingLLMの外向き通信
  • telemetry
  • Docker image取得
  • モデル取得
  • DNS
  • Proxy
  • OS update

なども含めてネットワーク設計を確認する必要があります。

「Ollamaがローカル」だけで、システム全体が完全な閉域になるわけではない点には注意が必要です。

23. 結論

ローカルRAG用GPUを考える場合、

最大のモデルを動かせるGPU

ではなく、

必要なモデルを
100% GPUで
十分なContextを確保して
安定して動かせるGPU

を選ぶのが重要です。

大まかには、

8GB
  → 8B級

16GB
  → 14B級

24～32GB
  → 30B級

48GB以上
  → 大Context / 複数利用 / 高負荷

という考え方が分かりやすいでしょう。

ただし、これは「モデルファイルサイズ」とOllamaのメモリ特性を基にした構成目安です。

最終判断は必ず、

ollama ps
nvidia-smi

と、自分の文書を使ったRAG質問テストで確認します。

参考資料

以下は本資料作成時に確認した公式情報です。

補足

モデルサイズ、Ollamaのデフォルト設定、GPU対応状況は将来変更される可能性があります。

GPU購入や本番構築前には、使用予定の

Ollama version
モデルtag
量子化方式
Context
GPU driver
Docker / NVIDIA Container Toolkit

を固定した上で再確認してください。

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?