はじめに
ローカルLLMは、ひとことで言えばAIの「脳」を自分のPCで動かす仕組みです。
ChatGPTやClaudeのように外部のサーバーへ処理を依頼するのではなく、AIの脳に当たる仕組みを自分のPCへ入れて、その場で回答を作らせます。
自分も実際に使うまで、「何がローカルで、普段使っている生成AIと何が違うのか」がよくわかっていませんでした。
きっかけは、QA経験を生かして作ったシステムの脳として、ローカルLLMを使ったことでした。そのシステム自体は別の記事で紹介し、今回はローカルLLMの基礎だけを整理します。
この記事の対象読者
この記事は、次のような方向けです。
- ローカルLLMという言葉を最近知り、基礎から知りたい方
- ChatGPTやClaudeと、自分のPCで動かすAIの違いを知りたい方
- 生成AIやLLMについて学び始めたエンジニア初学者
そもそもLLMとは
LLMは「Large Language Model」の略で、日本語では「大規模言語モデル」と呼ばれます。
大量の文章やコードなどを学習し、入力された内容に対して、続く言葉を予測しながら回答を作ります。質問への回答、文章の要約、翻訳、コード生成などができるのは、この仕組みを大規模に学習しているためです。
たとえば、次の文章の空欄を考えてみてください。
今日の空は青くて、天気がとても（ ）。
「よい」「いい」といった言葉が続きそうだと予想できます。LLMも、与えられた文章から次に続きそうな言葉を予測します。これを何度も繰り返すことで、まとまった回答を作っています。
実際のLLMは膨大な文章から複雑なパターンを学んでいますが、最初は**とても大規模な「次の言葉の予測装置」**と考えるとイメージしやすいです。
生成AI、チャットサービス、LLMの関係も分けておくとスッキリします。
ChatGPTやClaudeはサービスの名前です。画面や便利な機能を含むサービスの内側で、LLMが脳として動いています。
ローカルLLMの「ローカル」は、モデルが動く場所のこと
普段ChatGPTやClaudeを使うとき、入力した内容はインターネット経由でサービス提供者のサーバーへ送られます。そこでLLMが計算し、回答が戻ってきます。
ローカルLLMは、モデルを自分のPCや自分で管理するサーバーへダウンロードして、その中で動かします。
「ローカルLLM」という特別な種類のAIがあるというより、モデルを自分の環境で動かす使い方を指す言葉だと理解するとわかりやすいです。
クラウドLLMとローカルLLMを比べてみる
どちらが上というより、動かす場所が違うため、得意な使い方も変わります。
| 比較する点 | クラウドLLM | ローカルLLM |
|---|---|---|
| LLMが動く場所 | サービス提供者のサーバー | 自分のPCや管理下のサーバー |
| 始めやすさ | アカウントやAPIを用意すれば使いやすい | モデルと実行ツールの準備が必要 |
| 実行時の費用 | APIでは利用量に応じた料金が発生することがある | 外部APIの従量課金は発生しない |
| 必要なPC性能 | 手元のPC性能に左右されにくい | モデルに応じたメモリやGPUが必要 |
| モデルの管理 | 提供元に任せられる | ダウンロードや更新を自分で行う |
| データの扱い | 外部サービスへ送信する構成が多い | PC内だけで完結する構成を作れる |
| オフライン利用 | 基本的に通信が必要 | ダウンロード後はオフラインで動かせるモデルもある |
ローカルLLMなら自動的にすべてのデータが外へ出なくなる、という意味ではありません。一緒に使うアプリが検索APIや外部サービスへ接続すれば、その通信は発生します。
大事なのは「LLMへの入力をどこへ送るか」を自分で選べることです。
自分がローカルLLMを選んだ理由
自分が一番魅力を感じたのは、繰り返し実行しても外部LLMのAPI利用料が積み上がらないことです。
今回作ったものは、一度質問に答えて終わるチャットではなく、決めた処理を繰り返し動かすシステムです。
クラウドLLMのAPIでは、一般的に入力と出力のトークン量などに応じて料金が発生します。試行錯誤や繰り返し実行が増えるほど、トークン消費と費用が気になってきます。
そこで、完成したシステムを動かすときの脳としてローカルLLMを使う構成を考えました。
もちろん、本当の意味で何もかも無料になるわけではありません。モデルを動かすPCやGPU、電気代は必要です。それでも、すでに持っているPCを使えるなら、実行するたびに増えるAPIの従量課金を避けられます。
ローカルLLMを動かすために必要な3つ
ローカルLLMを使うときは、最低限「PC」「モデル」「実行ツール」の3つが必要です。
1. PC
モデルの計算を担当します。大きいモデルほど、多くのメモリや計算能力が必要になります。
2. モデル
実際に文章を理解して回答を作る脳です。Qwen、Gemma、Llamaなど、さまざまなモデルファミリーがあります。
3. 実行ツール
ダウンロードしたモデルをPC上で動かすソフトウェアです。
Qwen公式はローカルで使う選択肢として、Ollama、LM Studio、MLX、llama.cppなどを案内しています。たとえばOllamaは、モデルのダウンロード、起動、プログラムから呼び出すためのAPIをまとめて扱えます。
| ツール | 向いている使い方 |
|---|---|
| Ollama | コマンドやAPIから手軽にモデルを動かしたい |
| LM Studio | 画面を操作してモデルを探したり会話したりしたい |
| llama.cpp | より細かく実行方法を調整したい |
| MLX | Apple Silicon上でモデルを動かしたい |
初学者が「まず会話してみたい」ならGUIのあるLM Studio、「あとで自作システムから呼びたい」ならAPIを使いやすいOllamaが候補になります。
モデル名の「8B」や「30B」は何を表しているのか
自分が試したモデルを公式名に合わせて並べると、次のようになります。
| 公式のモデル名 | パラメータ規模 | 今回の環境で使った名前 |
|---|---|---|
qwen3:8b |
8B | qwen3-nc:8b |
qwen3-coder:30b |
30B | qwen3-coder-nc:30b |
gemma4:12b |
12B | gemma4-nc:12b |
qwen3.6:35b |
35B | qwen3.6:35b |
gemma4:31b |
31B | gemma4:31b |
-ncは、自作システム用のモデルだと区別するために自分の環境で付けた別名で、公式名ではありません。モデルを探すときは、表の左側にある公式名を使います。
モデル名のBはbillion、つまり10億を表します。
8B = 約80億パラメータ
12B = 約120億パラメータ
30B = 約300億パラメータ
パラメータは、モデルが学習によって調整した数値です。初学者のうちは「Bの数字は脳のサイズを表す目安」くらいで大丈夫です。
一般的に数字が大きいモデルほど多くのメモリと計算量を必要とします。ただし、数字だけで賢さが決まるわけではありません。
- コード向けに学習されたモデル
- 画像も扱えるモデル
- ツール呼び出しが得意なモデル
- 小さくても特定用途が得意なモデル
といった違いがあります。自分が使いたい仕事に合っているかを見ることが大切です。
「量子化」がわかると、モデル選びで迷いにくい
ローカルLLMを探していると、Q4_K_MやQ8_0という文字も出てきます。これは量子化の種類を表しています。
量子化は、モデルが持つ数値の精度を下げて、ファイルサイズや必要なメモリを小さくする技術です。
| 圧縮の度合い | ファイル・メモリ | 回答品質の傾向 |
|---|---|---|
| 圧縮ひかえめ（精度重視） | 大きくなりやすい | 元の精度を保ちやすい |
| 圧縮強め（軽さ重視） | 小さくしやすい | 品質への影響が出る場合がある |
たとえばOllamaで配布されているqwen3.6:35bには、4bit量子化のQ4_K_Mなど複数のバリエーションがあります。同じ35Bでも必要な容量が違うのは、この量子化が関係しています。
初めて選ぶなら「用途→PC→モデル」の順で考える
モデル名を眺めていると、つい一番大きいものを選びたくなります。ただ、自分は次の順番で考えるほうがわかりやすいと感じました。
- 文章作成、コード、画像理解など、何をさせたいか決める
- PCのメモリやGPUを確認する
- 無理なく動かせるモデルと量子化を選ぶ
- ベンチマークの数字だけでなく、自分の入力で試す
最初は小さめのモデルに短い仕事を頼むところから始めると、速度、回答の質、PCへの負荷を体感できます。
たとえば、今回試した中なら8B級のモデルに次のような質問をしてみるだけでも、ローカルLLMがどういうものか見えてきます。
ログイン画面の仕様を確認するとき、どんなテスト観点が必要ですか？
初心者にもわかる言葉で5つ挙げてください。
ローカルLLMは「自分で選んで組み合わせる脳」でした
ローカルLLMについて調べる前は、ChatGPTやClaudeのローカル版のようなものを想像していました。
実際には、モデル、サイズ、量子化、実行ツールを自分の用途とPCに合わせて選びます。この「組み合わせを自分で決められること」が、ローカルLLMのおもしろさです。
今回の要点は次の3つです。
- LLMは、文章を理解・生成するAIの脳に当たる
- ローカルLLMは、自分のPCや管理下のサーバーで動かすLLM
- モデルは大きさだけで決めず、用途とPCに合わせて選ぶ
ローカルLLMが気になっている方は、まずOllamaやLM Studioの公式ページで、自分のPCで動かせそうな小さめのモデルを探してみると、言葉だけで調べるより一気にイメージしやすくなります。
次回以降に書きたいこと
次回以降の記事では、QAエンジニアとしての経験を生かして作った、テスト設計・テスト実施・エビデンス取得・不具合報告までを自動で進めるAIエージェントシステムについて書くつもりです。
ローカルLLMをシステムの脳としてどこに組み込んだのか、複数のモデルを試して何が変わったのか、実際のテスト業務をどのような流れで進めるのかなどを書ければと思っています。
参考
- Qwen3: Think Deeper, Act Faster（Qwen公式）
- Qwen3-Coder（Ollama）
- Qwen3.6（Ollama）
- Gemma 4 model overview（Google AI for Developers）
- Gemma 4（Ollama）
- Ollama API Introduction
- 【初心者向け】本当にわかりやすいAI入門―数式や専門用語なしにイチから最新動向まで解説！（Qiita）
- ローカルLLM入門〜llama.cpp / Ollama / LM Studio 完全比較ガイド〜（Qiita）
- Local LLMモデル入門：基礎知識編（Zenn）