はじめに
最近、ローカルLLMという言葉をよく見るようになりました。
ChatGPTのようなAIを、インターネット上のサービスではなく、自分のパソコンの中で動かす仕組みです。
正直、最初はこう思っていました。
ローカルLLMって、強いGPUを積んだガチ勢だけがやるものでは？
でも、調べてみると Ollama というツールを使えば、初心者でもかなり簡単にローカルLLMを試せることがわかりました。
今回は、実際にOllamaをインストールして、以下の3つのモデルを動かしてみました。
- Qwen3.6:latest
- Qwen3:8b
- Gemma4:e4b
この記事では、初心者目線で
- Ollamaとは何か
- ローカルLLMのモデルとは何か
- 実際に使ってみた感想
- モデルごとの回答速度
- 自分のPCで使うには重いのか
- 今後VSCodeと連携して使えそうか
をまとめます。
使用したパソコンのスペック
今回Ollamaを入れたパソコンは、デスクトップPCです。
| 項目 | 内容 |
|---|---|
| CPU | Intel Core Ultra 7 265K 3.90GHz |
| メモリ | 32GB |
| GPU | Intel(R) Graphics 128MB |
| GPUメモリ表示 | 共有GPUメモリ 約17.9GB |
| OS | Windows11 Home 25H2 |
ここで注意したいのが、GPUメモリです。
タスクマネージャー上では GPUメモリ 17.9GB のように表示されていましたが、これはNVIDIA RTXなどの専用GPUに載っているVRAMではなく、メインメモリの一部をGPU用に共有しているものです。
つまり、今回の環境はざっくり言うと、
メモリ32GBのCPU/内蔵GPUマシン
として考えるのがよさそうです。(一応NPUってのはあります)
ローカルLLMではGPUの性能も重要ですが、今回は専用GPUではないため、大きなモデルを動かすとそれなりに時間がかかります。
Ollamaとは？
Ollamaは、ローカル環境で大規模言語モデルを動かすためのツールです。
簡単に言うと、
自分のパソコンの中でAIモデルをダウンロードして、チャットできるようにするアプリ
です。
以前はターミナルやPowerShellからコマンドを打って使うイメージが強かったのですが、現在はデスクトップアプリからチャット画面で使うこともできます。
そのため、初心者でもかなり触りやすくなっています。
モデルとは？
Ollama本体は、AIを動かすための土台です。
実際に返答してくれるAIの中身は「モデル」と呼ばれます。
たとえば、今回使ったモデルは以下です。
qwen3.6:latest
qwen3:8b
gemma4:e4b
ざっくり言うと、
| モデル | 特徴 |
|---|---|
| Qwen3.6 | 高性能だが重い。大きめの相談向き |
| Qwen3:8b | 比較的バランスが良い。普段使い候補 |
| Gemma4:e4b | 軽め。Google系モデルで試しやすい |
モデル名についている 8b などの数字は、パラメータ数の規模を表します。
8b は約80億パラメータという意味です。
基本的には、数字が大きいほど賢くなりやすいですが、そのぶん重くなります。
実際に入れたモデル
今回は以下の3つを入れて試しました。
Qwen3.6:latest
Ollamaデスクトップアプリから最初に入れたモデルです。
ダウンロードサイズはかなり大きく、約22GB以上ありました。
実際に使ってみると、回答内容はしっかりしている印象でしたが、回答までの待ち時間は長めでした。
大きなモデルなので、普段使いというよりは、
- 複雑な相談
- 設計の相談
- 長めの仕様整理
- じっくり考えさせたい質問
に向いていそうです。
Qwen3:8b
次に試したのが Qwen3:8b です。
こちらはQwen3.6より軽く、普段使いしやすそうなモデルです。
日本語の回答も自然で、コードや開発系の相談にも使えそうでした。
VSCodeと接続して使うなら、まずはこのモデルが候補になりそうです。
Gemma4:e4b
最後に Gemma4:e4b も入れてみました。
GemmaはGoogle系のモデルです。
Qwenと比べると、軽めで扱いやすい印象があります。
文章の要約や、簡単な質問への回答、ちょっとした説明には使いやすそうです。
同じ質問をして速度を比べてみた
今回は、3つのモデルに同じ質問をしました。
質問内容はこちらです。
初めまして、あなたの名前と特徴、得意なことと苦手なことを教えてください。
それぞれの回答までの時間は以下です。
| モデル | 回答までの時間 |
|---|---|
| Qwen3:8b | 24秒 |
| Gemma4:latest | 34秒 |
| Qwen3.6:latest | 52〜98秒 |
※測定は厳密なベンチマークではなく、実際に使ってみた体感ベースです。
ollama Desktopではなくpowershellですが、質問をしてそのあいだの動きをタスクマネージャーで出してみました。
使ってみた感想
まず思ったのは、
動いた！でも、ちょっと重いかも？
ということです。
特に Qwen3.6:latest は、回答まで52秒〜98秒ほどかかりました。
もちろん、ローカルで大きなAIモデルが動いていると考えるとすごいのですが、普段の作業中に毎回1分近く待つのは少しつらいです。
一方で、Qwen3:8b は24秒ほどで返ってきました。
爆速ではありませんが、ローカルLLMとしてはかなり現実的です。
Qwen3.6は重いけど強そう
Qwen3.6は、明らかに重いです。
ただ、回答内容はかなりしっかりしていました。
そのため、私の中では以下のような位置づけです。
| 用途 | 向いているモデル |
|---|---|
| 普段の軽い質問 | Gemma4:e4b |
| 開発補助・日本語相談 | Qwen3:8b |
| 重めの設計相談 | Qwen3.6:latest |
Qwen3.6は、毎回気軽に使うというより、
ここぞという時に使う重めのモデル
という印象でした。
内蔵GPU環境ではモデル選びが大事
今回のPCはメモリ32GBなので、ローカルLLMを試すにはかなり良い環境だと思います。
ただし、GPUはIntel(R) Graphicsで、専用VRAMを持つNVIDIA GPUではありません。
そのため、大きなモデルはどうしても重くなります。
今回の体感では、普段使いには Qwen3:8b くらいがちょうどよさそうでした。
初心者におすすめのモデル構成
今回試した範囲では、初心者には以下のような使い分けがよさそうです。
| 目的 | おすすめ |
|---|---|
| まず動かしてみたい | Gemma4:e4b |
| 日本語で開発相談したい | Qwen3:8b |
| 重めの相談をしたい | Qwen3.6:latest |
個人的には、最初から大きいモデルを入れるよりも、まずは軽めのモデルで動作確認するのが良いと思いました。
コマンドを打つ場所について
Ollamaにはデスクトップアプリがありますが、以下のようなコマンドはアプリのチャット欄ではなく、WindowsのPowerShellやターミナルで実行します。
たとえば、入っているモデル一覧を見る場合は以下です。
ollama list
モデルを起動する場合は以下です。
ollama run qwen3:8b
未ダウンロードのモデルであれば、自動でダウンロードが始まります。
あとはひらがなでしゃべってもいいし、Ollamaのコマンドを打ってもいいです。
VSCodeと接続して使えるか？
次に試したいのが、OllamaとVSCodeの連携です。
Ollamaは単体のチャットアプリとしても使えますが、開発で使うならVSCodeと接続できるとかなり便利です。
調べたところ、VSCodeでは以下のような拡張機能を使うことでOllamaと連携できるようです。
- Continue
- GitHub Copilot Chatのローカルモデル連携
特に気になっているのは Continue です。
VSCode上でOllamaのモデルを呼び出し、開いているコードについて質問したり、選択したコードを説明させたりできるようです。
今回の結果を見る限り、VSCodeと接続するなら Qwen3.6:latest は少し重そうです。
まずは Qwen3:8b を使って試すのがよさそうだと思いました。
今回のまとめ
Ollamaを使うと、初心者でもローカルLLMをかなり簡単に試すことができました。
今回試したモデルの印象は以下です。
| モデル | 印象 |
|---|---|
| Qwen3.6:latest | 強そうだが重い |
| Qwen3:8b | バランスが良く、普段使い候補 |
| Gemma4:e4b | 軽めで試しやすい |
ローカルLLMは、まだChatGPTのようにサクサク何でもできるというより、
自分のPCスペックに合わせて、モデルを選んで使い分けるもの
という印象でした。
今回の環境では、普段使いには Qwen3:8b、重い相談には Qwen3.6:latest、軽い確認には Gemma4:e4b がよさそうです。
今後やりたいこと
次は、OllamaをVSCodeと接続して使ってみたいです。
特に気になっているのは以下です。
- VSCode拡張のContinueを使う
- Qwen3:8bを開発補助に使う
- READMEやコードの説明をさせる
- Cursorとの違いも試す
- ローカルLLMが実務でどこまで使えるか確認する
正直、まだ少し重さは感じます。
ただ、自分のPCの中でAIが動いているのはかなり面白いです。
今後は、VSCodeと連携したときにどのくらい実用的なのかを試していきたいと思います。
次回もお楽しみに！