はじめに

最近、SNSなどで「ローカルLLM」や「Ollama」という言葉を見かける機会がかなり増えましたね。

一方で、

などという状態の方も多いのではないでしょうか。
そこで今回から、「ゼロから学ぶローカルLLM」というシリーズとして、ローカルLLMの仕組みや周辺技術について、基礎から理解を深めていきます。

このシリーズでは単にツールの使い方を紹介するのではなく、なぜそうなっているのかを理解することを目標に進めていきます。

最終的には自分でローカルLLM環境を設計し、用途に応じたモデルや実行環境を選択できるレベルを目指します。

ChatGPTはどこで動いている？

まずは普段使っているChatGPTを考えてみます。
ChatGPTに質問すると、画面上ではすぐに回答が返ってきます。

しかし、実際には自分のPCでAIが動いているわけではありません。

あなたのPC
      │
      ▼
 インターネット
      │
      ▼
 OpenAIのサーバー
      │
      ▼
 ChatGPTが推論
      │
      ▼
 回答が返ってくる

つまり、実際にLLM（大規模言語モデル）が動いているのはOpenAIが管理しているGPUサーバーです。
私たちはAPIやWebサービスを通して、その計算結果を受け取っているだけです。

ではローカルLLMは何でしょうか。
名前の通り、自分のPC上でLLMを動かす仕組みです。

イメージすると、

あなたのPC
      │
      ▼
 ローカルGPU（またはCPU）
      │
      ▼
 ローカルLLM
      │
      ▼
 回答

という流れになります。
つまり推論そのものはインターネットを介さず、自分のPC上で完結します。

ローカルLLMにはいくつかのメリットがあります。

モデルをダウンロードしてしまえば、インターネット接続がなくても利用できます。

ChatGPT APIのように利用量に応じた課金はありません。
もちろんPCやGPUの購入費、電気代などは必要になりますが、利用するたびに料金が発生するわけではありません。

社内文書やソースコードなど外部サービスへ送信したくないデータを扱う場合でも、自分のPC内だけで処理を完結できます。

用途に応じて、

などを自由に切り替えられます。

モデルの切り替えやシステムプロンプトの調整、独自ツールとの連携など、自分の用途に合わせて柔軟に環境を構築できます。

もちろん良いことばかりではありません。

大きなモデルほど大量のVRAMを必要とします。
モデルによってはコンシューマー向けGPUでは動作が難しい場合もあります。

手元で動かせるモデルはサイズに限界があります。
そのため、GPT-5などのクラウドモデルと比べると、回答品質で劣るケースもあります。

モデルをダウンロードしたり、推論環境を構築したりと、最初の準備にはある程度の知識が必要になります。

ローカルLLMと一言で言っても、実際にはいくつかの要素で構成されています。

GPU / CPU
      │
      ▼
推論エンジン
（Ollama、llama.cpp など）
      │
      ▼
LLMモデル
（Qwen、Llama、Gemma など）
      │
      ▼
UI
（CLI、Open WebUI など）

現時点では、それぞれが何を担当しているのか分からなくても問題ありません。
このシリーズでは一つずつ役割を理解していきます。

今回の記事で登場した用語を簡単に整理します。

用語	概要
LLM	Large Language Model（大規模言語モデル）。人間のような文章を生成できるAIモデル。
ローカルLLM	クラウドではなく、自分のPC上でLLMを動かす仕組み。
推論（Inference）	モデルが入力された文章をもとに回答を生成する処理。
モデル	AI本体のこと。Qwen、Llama、Gemmaなどが代表例。
推論エンジン	モデルを実際に動かすためのソフトウェア。Ollamaやllama.cppなど。
GPU	AIの推論を高速に行うための演算装置。ローカルLLMでは重要な役割を持つ。
CPU	コンピュータの中央演算装置。軽量なモデルであればCPUのみで動作させることもできる。
UI（ユーザーインターフェース）	ユーザーがLLMを操作するための画面やインターフェース。CLIやOpen WebUIなど。

ローカルLLMの可能性をたくさんの方々に伝わるよう、記事にしていけたらと思います！