クラウド型の生成AIは便利ですが、同じサービスやモデルをいつまでも使えるとは限りません。提供地域、契約、規制、障害、サービス側の判断によって、使いたい機能やサービスそのものが急に使えなくなる可能性もあります。
手元のPCで動くローカルLLMを、選択肢として持っておくと安心です。
Gemma 4がOllamaでも使えるようになり、ローカルLLMはかなり試しやすくなりました。この記事では、WindowsにOllamaを入れ、VRAMに合うモデルを選んで動かします。GPUで動いているかは、ollama ps で確かめます。
先に結論
ローカルLLMは、自分のGPUのVRAMに合わせてモデルを選ぶと始めやすいです。同じ環境をそのまま真似する必要はありません。
| VRAMの目安 | 最初に試しやすいモデル | 考え方 |
|---|---|---|
| 6GB前後 |
phi4-mini / 小さめのQwen3 |
品質より、まず動かすことを優先 |
| 8GB前後 |
phi4-mini / qwen3:8b など |
文章整理・要約・軽い相談に使いやすい |
| 12GB前後 |
gemma4:12b / qwen3:14b
|
品質を狙いやすい。14Bは上限に近い |
| 16GB以上 | 12B〜14B級 | 余裕を持って使いやすい。複数用途で安定しやすい |
| 24GB以上 | 26B級以上 | 大きいモデルも試しやすい |
- あくまで入口の目安。小さめのQwen3と
qwen3:8bについて、この記事に個別の実測値は未掲載 - 同じVRAMでも、OS、ドライバ、他に起動しているアプリ、モデルの量子化形式で動き方は変わる
動かしたら、ollama ps でGPUに載っているかを確かめます。PROCESSOR 列が 100% GPU なら、モデル全体がGPUに載っています。
12GB級GPUなら、最初の本命は gemma4:12b が分かりやすいです。この環境で gemma4:12b を最初に勧める理由は、次のとおりです。
- 12GB級GPUに収まりやすい
- 速度が実用範囲にある
- コード課題で高い結果が出た
- 画像入力も試せる
-
qwen3:14bほど、VRAMの天井に張り付かない
日本語の回答を重視するなら qwen3:14b、軽さを見たいなら phi4-mini です。限界を試すなら、gemma4:26b へ広げます。
検証環境
手順と実測値は、次の環境で確かめたものです。
| 項目 | 内容 |
|---|---|
| OS | Windows 11 |
| GPU | VRAM 12GBのNVIDIA GPU |
| Ollama | 0.30.8 |
| 端末 | Windows PowerShell |
| モデル保存先 | 既定の保存先(Cドライブに余裕がない場合のみ変更) |
- 速度・VRAM・課題の結果は、この環境での実測
-
ollama psの48%/52% CPU/GPUは公式FAQの表示例。この環境での実測は、後半のgemma4:26b(43%/57% CPU/GPU) - Windowsの要件とログ、環境変数、
PROCESSORの表示、画像生成の対応状況は、2026-11-16 時点の公式ドキュメントで確認した内容
大事なのは、自分のGPUのVRAM容量を確かめ、その範囲で動くモデルを選ぶことです。
Ollamaをインストールする
公式のWindows版を入れ、ollama -v でバージョンが出れば準備完了です。普段の作業は、Ollamaを起動した状態で、PowerShellからモデルを取得・実行する流れです。
公式ドキュメントによると、Windows版はネイティブアプリとしてバックグラウンドで動きます。インストール後は、cmd や PowerShell から ollama コマンドを使えます。
-
公式のダウンロードページ(Download Ollama on Windows)から、Windows版を入れる。PowerShellに慣れていれば、公式ページにある次のコマンドでもよい
irm https://ollama.com/install.ps1 | iex -
PowerShellを開き、バージョンが表示されるか確かめる
ollama -v -
GPU名とVRAM容量を確かめる
nvidia-smi
nvidia-smi では、NVIDIA GPUならGPU名とVRAM容量が表示されます。同じGPUでなくても構いません。自分の環境に何GBのVRAMがあるかを見るのが目的です。
Windows版の要件とログの場所は、公式のWindowsページに次のとおり書かれています。
| 項目 | 内容 |
|---|---|
| OS | Windows 10 22H2 or newer |
| NVIDIA GPUのドライバ | NVIDIA 551.61 or newer Drivers |
| ログの場所 |
%LOCALAPPDATA%\Ollama(server.log など) |
Cドライブに余裕がないなら、モデル保存先を先に変える
Cドライブの空きが少ないPCでは、モデルを入れる前に保存先を変えておくと後が楽です。空きが十分なら、既定のままで構いません。
今回の3モデルだけでも、ダウンロードサイズは次のとおりです。
| モデル | ダウンロードサイズの目安 |
|---|---|
gemma4:12b |
7.6GB |
qwen3:14b |
9.3GB |
phi4-mini |
2.5GB |
| 合計 | 約19GB |
-
gemma4:26bまで試すと、さらに18GBほど増える
保存先はPCごとに違うので、空き容量のあるドライブやフォルダを選びます。変え方は、アプリの設定画面か環境変数です。
アプリの設定画面で変える
Ollamaデスクトップアプリでは、「Settings」の「Model location」から保存先を変えられます。
環境変数 OLLAMA_MODELS で変える
画面から変えにくいときや、コマンドで明示したいときは、ユーザー環境変数 OLLAMA_MODELS を使います。公式ドキュメントも、ユーザー環境変数として設定し、Ollamaを再起動する手順を案内しています。
-
PowerShellで
OLLAMA_MODELSを設定する。<モデル保存先のフルパス>は、自分の保存先に置き換える[Environment]::SetEnvironmentVariable("OLLAMA_MODELS", "<モデル保存先のフルパス>", "User") -
タスクバーのOllamaを終了し、スタートメニューからOllamaを起動し直す。反映されなければ、Windowsを再起動する
-
新しいPowerShellを開き、設定した保存先が表示されるか確かめる
echo $env:OLLAMA_MODELS
Windowsの設定画面から環境変数を設定する(公式FAQの手順)
PowerShellを使わずに設定するなら、公式FAQの手順に従います。Windows版のOllamaは、ユーザーとシステムの環境変数を引き継ぎます。
- タスクバーのOllamaをクリックし、Ollamaを終了(Quit)する
- 設定アプリかコントロールパネルを開き、「environment variables」を検索する
- 「Edit environment variables for your account」をクリックする
- 自分のユーザーアカウントの変数として、
OLLAMA_HOSTやOLLAMA_MODELSなどを編集するか、新しく作る - OK/Apply をクリックして保存する
- スタートメニューからOllamaを起動する
-
OLLAMA_MODELS以外の環境変数(OLLAMA_HOSTなど)も、同じ手順で設定できる - 英語の部分は、公式FAQの英語表記のまま。日本語表示のWindowsでの画面表記は、この記事では確認していない
VRAMに合わせてモデルを選ぶ
最初は、VRAM容量に合わせて1〜3個に絞るのがおすすめです。最初から多く入れると、どれが何に向くのか分からなくなります。目安は「先に結論」の表のとおりです。
モデルを選んだら、ollama pull と ollama run に同じモデル名を指定します。この環境(VRAM 12GB)では、次の3つが扱いやすい候補でした。
ollama pull gemma4:12b
ollama pull qwen3:14b
ollama pull phi4-mini
これは12GB級GPUでの例です。VRAMが8GB以下なら、最初から12B/14B級を狙わず、phi4-mini や小さめのQwen3から始める方が安全です。
gemma4:12b:最初の主役にしやすい
最初の1本に選びやすいモデルです。画像も扱いたいなら、まず gemma4:12b から試すのがよいです。
- この環境での実測で、SemVer実装のコード課題は15/15、画像読取は3/3
- 速度も、12GB級GPUで実用しやすい範囲(「速度とVRAMの見方」の表)
qwen3:14b:日本語と、指示どおりの短い回答が得意
日本語の文章が自然で、指示に沿った短い回答が得意なモデルです。
- この環境での実測で、ベイズ推定の問題を150字以内に収めて正答したのは、同じ課題で比べた5モデルのうち
qwen3:14bだけ - 12GB級GPUで動くが、VRAM使用量は上限に近く、余裕は少なめ
phi4-mini:とにかく軽くて速い
Ollamaが動いているか、GPUが使えているかを軽く確かめる用途に向きます。
- この環境での実測で、生成速度は100 tok/sを超えた
- モデルサイズも小さい
- 品質面は
gemma4:12bやqwen3:14bに劣る。大事な文章やコードを任せるより、軽量モデル枠として使う
用途別に選ぶなら
用途で迷ったら、この環境の結果をもとにした次の表で選べます。
| 用途 | おすすめ | 理由 |
|---|---|---|
| まずローカルLLMを体験したい | gemma4:12b |
文章・コード・画像入力のバランスが良い |
| 日本語の文章を整えたい | qwen3:14b |
日本語の自然さと指示追従が強い |
| 軽さを優先したい | phi4-mini |
小さくて速い。動作確認に向く |
| 画像も読みたい | gemma4:12b |
実測で画像読取が安定していた |
| 限界を試したい | gemma4:26b |
VRAM不足時はCPU/GPUに分かれる場合あり |
gemma4:e4b は、サイズと速度だけを見ると魅力があります。ただ、この環境では画像読取と出力の安定性に不安がありました。
そのため、最初の1本としては勧めにくいモデルです。軽さだけなら phi4-mini、総合力なら gemma4:12b の方が分かりやすいです。
未検証だが、同じ手順で試せる候補
次の候補は、この記事では実測していません(未検証)。Ollamaではモデル名を変えるだけで、基本的な使い方は同じです。
ollama pull <モデル名>
ollama run <モデル名>
最初の3モデルで流れが分かったら、次のようなモデルを試すのもありです。
| 候補(未検証) | 向いていそうな用途 | 注意 |
|---|---|---|
qwen3.5:4b / qwen3.5:9b
|
文章・画像・軽めのマルチモーダル | まず小さいサイズから |
qwen3-vl:4b / qwen3-vl:8b
|
画像解析を重視したい場合 | 画像入力の挙動は要確認 |
deepseek-r1:8b / deepseek-r1:14b
|
推論系を試したい場合 | 回答が長くなりやすい可能性 |
mistral-nemo:12b |
テキスト中心で別系統を試したい場合 | 画像入力ではなく文章用途 |
phi4-reasoning |
数学・推論寄りを試したい場合 | 14B級。VRAMに余裕が必要 |
- 「未検証」は、この記事と同じ条件でまだ試していないという意味。モデル自体を低く見ているわけではない
- まず
phi4-miniなど軽いモデルで流れを確かめ、自分のGPUで無理なく動くサイズへ広げる - 後半で生成速度とVRAMピークを数値で示すのは、
gemma4:12b、qwen3:14b、phi4-mini、gemma4:26b
モデルを動かして話しかける
ollama run でモデルを起動すると、PowerShell上でそのまま質問できます。例の gemma4:12b は、自分が取得したモデル名に置き換えます。
ollama run gemma4:12b
最初は難しいことをさせず、短い質問で反応を見ます。
ローカルLLMとは何かを、初心者向けに3行で説明してください。
次に、自分が実際に使いそうな作業を頼みます。
次の文章を、ブログ記事の冒頭として自然な「ですます調」に整えてください。
(ここに文章を貼る)
この記事の手順では、PowerShell上でモデルと会話します。見た目は地味ですが、文章の整理、要約、コード相談、画像の読み取りまで普通に使えます。
GPUで動いているか確かめる(ollama ps)
ollama ps の PROCESSOR 列が 100% GPU なら、モデル全体がGPUに載っています。ollama run でモデルを動かしたまま、別のPowerShellで実行します。
ollama ps
PROCESSOR 列の表示の意味は、公式FAQで次のように説明されています。
PROCESSOR 列の表示 |
意味 |
|---|---|
100% GPU |
モデル全体がGPUに載っている |
100% CPU |
モデル全体がシステムメモリにある |
48%/52% CPU/GPU のような分割表示 |
CPU側とGPUの両方に分かれて載っている |
- この環境(VRAM 12GB)での実測では、
gemma4:12bとqwen3:14bはモデル全体がGPUに載った -
48%/52% CPU/GPUは公式FAQの表示例。この環境での実測では、gemma4:26bが43%/57% CPU/GPUだった(「26Bなど重いモデルを試すとき」)
確認は、次の順に進めると分かりやすいです。
-
nvidia-smiで、GPU名とVRAM容量を確かめる(インストール時に実行したもの) - モデルを実行する(例:
ollama run gemma4:12b) - 別のPowerShellで
ollama psを実行し、PROCESSOR列を見る - 必要なら、
nvidia-smiのmemory.usedでVRAM使用量を見る(「速度とVRAMの見方」を参照)
確認が済んで会話を終えるときは、Ctrl + C を押します。
100% CPU や分割表示だったときに見る場所
GPUの認識、要件、環境変数、モデルのサイズ、ログの順に見ます。原因はPCによって違うため、ここでは見る場所だけを挙げます。
-
nvidia-smiで、GPU名とVRAM容量が表示されるか - 公式の要件(「Ollamaをインストールする」の表)を満たしているか
- 環境変数
CUDA_VISIBLE_DEVICESに、無効なIDが入っていないか - モデルのサイズが、VRAMより大きくないか(例:「26Bなど重いモデルを試すとき」の
gemma4:26b) - ログを見る。場所は
%LOCALAPPDATA%\Ollama(server.logなど)
CUDA_VISIBLE_DEVICES についての補足です(公式のGPUページ)。
-
NVIDIA GPUが複数あるPCで、Ollamaに使わせるGPUを選ぶための環境変数
-
GPUのUUIDは、次のコマンドで確認できる
nvidia-smi -L -
無効なID(例
"-1")を指定すると、GPUを使わずCPUだけで動く -
GPUが1枚のPCでは、設定は必須ではない
ローカルLLMを使う
頼みごとは「目的・素材・条件・出力形式」に分けて書き、手元の文章やログを渡すと安定します。
プロンプトは4つの要素に分けて書く
いきなり一文で頼むより、次の4つに分けると、モデルが何をすればよいか理解しやすくなります。
| 要素 | 書くこと |
|---|---|
| 目的 | 何をしたいか |
| 素材 | 元文章、エラー、コード、画像など |
| 条件 | 読者、文体、文字数、禁止したいこと |
| 出力形式 | 箇条書き、表、修正文、手順など |
使いやすい型は、次のとおりです。
目的:
(何をしたいか)
素材:
(文章・ログ・コードなど)
条件:
- 初心者向け
- ですます調
- 重要な注意点は省略しない
- 分からないことは推測で断定しない
出力形式:
1. 修正文
2. 改善理由
3. 追加した方がよい項目
たとえば、記事の文章を整えるなら次のように入力します。
目的:
ブログ記事の本文を読みやすくしたいです。
素材:
手元のGPUでGemma 4を動かしました。文章生成と画像入力を試せました。
条件:
- 初心者にも分かる言い方にする
- ですます調
- 誇張しすぎない
- 「すごい」だけで終わらせない
出力形式:
修正文を1つ、そのあとに改善ポイントを3つ出してください。
文章作成・要約・メモ整理に使う
最初に使いやすいのは、文章系の作業です。
- メモを記事の構成にする
- 長い文章を要約する
- 文章をですます調に整える
- 見出し案を出す
- 読者がつまずきそうな点を指摘してもらう
- 箇条書きを表にする
記事構成を作るなら、次のように入力します。
次のメモをもとに、初心者向けブログ記事の構成案を作ってください。
条件:
- H2見出しを7個前後
- 先に結論を書く
- 読者が実際に手を動かせる順番にする
- 専門用語には短い説明を付ける
メモ:
(ここにメモを貼る)
要約なら、次のように頼みます。
次の文章を要約してください。
条件:
- 3行で要約
- 重要な数値は残す
- 推測は入れない
文章:
(ここに文章を貼る)
コードやエラーの相談に使う
エラー相談では、エラー文だけでなく、何をしていたかも書くと答えが良くなります。
目的:
PowerShellでOllamaを実行したときのエラー原因を知りたいです。
状況:
- Windows 11
- NVIDIA GPUを使用
- Ollamaはインストール済み
- gemma4:12bを実行しようとした
エラー:
(ここにエラー文を貼る)
出力:
原因候補を3つ、確認手順を順番に出してください。
コードを見てもらう場合は、次のように頼みます。
次のPythonコードをレビューしてください。
見てほしい点:
- バグになりそうな箇所
- 初心者が誤解しそうな書き方
- もっと読みやすい書き方
コード:
(ここにコードを貼る)
画像を読ませる(画像入力)
gemma4:12b なら、画像ファイルのパスをプロンプトに入れて、内容を答えさせられます。ここで扱うのは画像を読む「画像入力」で、画像を作る「画像生成」とは別の機能です(画像生成は「注意点」を参照)。
Ollama公式のCLIリファレンスにも、マルチモーダルモデルに画像パスを渡す例があります。
ollama run gemma4 "<画像ファイルのフルパス> この画像には何が写っていますか?"
Windowsでは、画像ファイルのフルパスを使うと分かりやすいです。
ollama run gemma4:12b "<画像ファイルのフルパス> この画像に写っている内容を日本語で説明してください。"
グラフを読ませるなら、次のように聞きます。
ollama run gemma4:12b "<画像ファイルのフルパス> このグラフから読み取れることを3つ挙げてください。数値が見える場合は数値も含めてください。"
エラー画面やスクリーンショットなら、次のとおりです。
ollama run gemma4:12b "<画像ファイルのフルパス> このスクリーンショットで問題になっていそうな箇所を説明してください。原因候補と次に確認することを分けてください。"
画像が渡ったかは、回答の中身だけでなく、実行時に Added image のような表示が出るかで確かめます。
画像が渡っていなくても、モデルがそれらしく答えることがあります。この環境の検証でも、画像を渡したつもりで実際は渡っておらず、モデルが画像を見ずに答えたケースがありました。
画像解析で使いやすい依頼は、次のようなものです。
| やりたいこと | プロンプト例 |
|---|---|
| グラフを読む | 「このグラフの結論を3つにまとめてください」 |
| 画面エラーを読む | 「この画面でエラーになっていそうな箇所を説明してください」 |
| UIをレビューする | 「この画面で初心者が迷いそうな点を挙げてください」 |
| 表を読み取る | 「表の内容をMarkdownの表に直してください」 |
| 画像の説明文を作る | 「この画像の代替テキストを日本語で作ってください」 |
速度とVRAMの見方
速度とVRAMは、モデルが重い・遅いと感じたときの確認手段です。普段使いの最初から、必ず見るものではありません。
速度:--verbose を付けて実行する
--verbose を付けて実行すると、回答のあとに速度などが表示されます。
ollama run gemma4:12b --verbose
| 表示 | 見るポイント |
|---|---|
total duration |
全体にかかった時間 |
eval count |
生成したトークン数 |
eval rate |
生成速度。tok/sとして見る |
この環境での生成速度は、おおよそ次のとおりでした。
| モデル | 生成速度の目安 |
|---|---|
phi4-mini |
約111〜118 tok/s |
gemma4:12b |
約43 tok/s |
qwen3:14b |
約38〜43 tok/s |
gemma4:26b |
約24〜29 tok/s |
- VRAM 12GBのNVIDIA GPUでの実測
速度だけで選ぶと、品質で失敗しやすくなります。phi4-mini は非常に速いものの、実測では品質面の弱さがありました。反対に qwen3:14b は少し重いですが、日本語の回答はかなり安定していました。
VRAM使用量:nvidia-smi で見る
モデルが重いと感じたら、別のPowerShellで nvidia-smi を実行します。
nvidia-smi
ピークを細かく追いたい場合は、次のようにしてVRAM使用量を見続けます。
$peak=0
while ($true) {
$m = [int](nvidia-smi --query-gpu=memory.used --format=csv,noheader,nounits)
if ($m -gt $peak) { $peak = $m }
Write-Host -NoNewline ("`rVRAM now: {0} MiB peak: {1} MiB " -f $m, $peak)
Start-Sleep -Milliseconds 500
}
- この例は、値を MiB で表示する(1 MiB = 1,048,576 バイト)
この環境でのVRAMピークは、次のとおりでした。12GB級GPUでは、モデルサイズによって余裕が大きく変わります。
| モデル | VRAMピーク | コメント |
|---|---|---|
phi4-mini |
約6.0GB | 余裕あり |
gemma4:12b |
約10.7GB | 12GB級GPUで実用しやすい |
qwen3:14b |
約11.5GB | 12GBの上限近く |
gemma4:26b |
約12.0GB | CPUオフロードあり |
- VRAM 12GBのNVIDIA GPUでの実測
26Bなど重いモデルを試すとき
gemma4:26b(18GB)はVRAM 12GBに全ては載りませんが、この環境ではCPUとGPUに分かれて動きました。どこに載っているかは、ollama ps で確かめます。
-
gemma4:26bを実行するollama run gemma4:26b -
実行したまま別のPowerShellを開き、
ollama psのPROCESSOR列を見るollama ps
この環境での結果は、次のとおりでした。
| モデル | SIZE |
PROCESSOR |
|---|---|---|
gemma4:26b |
18GB | 43%/57% CPU/GPU |
-
PROCESSOR列の表示から、CPUとGPUに分かれて実行されていると分かる
動くことと、快適なことは別です。26Bは面白い実験対象ですが、最初の常用モデルには gemma4:12b か qwen3:14b の方が扱いやすいです。
注意点
使い始めたら、モデルにできないことと、情報の扱いに気をつけてください。
- Ollamaのローカルモデルは、最新ニュースを検索して答えるものではない。手元の文章やログを貼り、整理させる方が安定する
- 外部サービスに貼りにくいメモや実験コードを扱いやすいのは利点。ただし、会社の機密情報や個人情報を無造作に貼るのは避ける
- ローカル実行でも、スクリーンショットやログに不要な情報が残ることがある
画像生成は、Windowsでは使えない
Ollamaの画像生成は実験的な機能で、2026-11-16 時点ではWindowsでは使えません(未対応)。
- 公式ブログ(2026-01-20「Image generation (experimental)」)で、macOS 向けに始まった
- Windows と Linux は coming soon とされている
- 公式のモデルページにも「Image generation models currently only work on macOS.」とある