ChatGPTやClaudeなどのAIサービスはとても便利ですが、「データをクラウドに送りたくない」「料金が気になる」「オフラインでも使いたい」と感じたことはありませんか？

そんな悩みを解決してくれるのが 「ローカルLLM」 です。そしてローカルLLMをもっとも手軽に試せるツールとして、今エンジニアの間で急速に広まっているのが Ollama（オラマ） です。

この記事では、「ローカルLLMって何？」というところからOllamaの基本的な使い方まで、やさしく解説します。

ローカルLLMとは？

まず用語を整理しましょう。

LLM（Large Language Model：大規模言語モデル） とは、ChatGPTやClaudeの中核となっているAIの仕組みです。通常、これらはクラウド上のサーバーで動いています。

【通常のクラウドLLM】
あなたのPC  →（インターネット）→  クラウドサーバー(AI)  →  回答

一方、ローカルLLM は、このAIモデルを 自分のPC上で直接動かす 方法です。

【ローカルLLM】
あなたのPC（AI込み）  →  即座に回答
                    ↑ データはここから出ない！

インターネット不要、データがPC外に出ない、課金ゼロ。これがローカルLLMの最大の特徴です。

Ollamaとは？

Ollama は、ローカルLLMを誰でも手軽に動かせるようにした オープンソースのツール です。2023年7月にGitHubで公開され、MITライセンスのもと開発が続けられています。リリースから短期間で世界中のエンジニアに広まり、2026年現在も活発に開発が続いています。

通常、AIモデルをローカルで動かすには、専門的な環境構築や複雑な設定が必要でした。Ollamaはそのハードルを大幅に下げ、コマンド1行でAIが起動する 体験を実現しました。

対応OS は macOS・Windows・Linux の3つ。macOSのApple Silicon（M1〜M4チップ）との相性が特に良く、GPUを効率的に活用した高速な推論が可能です。

入力したテキストや会話内容がクラウドサーバーに送信されません。社内の機密情報や個人情報を含む作業でも、安心して使えます。

ChatGPT APIなどは使った分だけ課金されますが、ローカルLLMは一度モデルをダウンロードすれば追加費用は不要です。大量の処理を試したいときにも気兼ねなく使えます。

モデルさえダウンロードしてあれば、ネットワークのない環境でも動作します。出張先や、セキュアな閉域網環境でも利用できます。

https://ollama.com にアクセスし、お使いのOSのインストーラーをダウンロードして実行します。

Macの場合はターミナルで以下のコマンドでもインストールできます：

curl -fsSL https://ollama.com/install.sh | sh

ターミナルを開き、使いたいモデル名を指定して実行するだけです。

# Metaの Llama 3.2（3Bパラメータ版）を起動
ollama run llama3.2

# Googleの Gemma 3を起動
ollama run gemma3

# Mistral AIのMistralを起動
ollama run mistral

初回はモデルのダウンロードが始まり、完了するとそのままチャットできます。

ダウンロードが終わると、こんな画面になります：

>>> Send a message (/? for help)

ここに日本語で話しかけるだけです！

>>> Pythonで「Hello, World!」を出力するコードを書いて

Ollamaで使えるモデルは多数ありますが、初心者が迷いがちなのがモデルの選び方です。以下を目安にしてください。

モデル	サイズ	必要RAM目安	特徴
`llama3.2`	3B	8GB〜	軽量・日本語もそこそこ
`gemma3`	4B	8GB〜	Googleが開発、バランス良好
`mistral`	7B	16GB〜	コーディング向きで人気
`llama3.1`	8B	16GB〜	汎用性が高くQiitaでも人気
`deepseek-r1`	7B〜	16GB〜	推論・数学タスクに強い

まず試すなら llama3.2（3B） がおすすめです。RAM 8GB程度のPCでも動き、日本語にも対応しています。

どちらを使うべきか迷ったときの判断基準をまとめます。

用途によって使い分けるのがベストで、「精度重視の本番用途はクラウド、試験的な検証やプライバシー重視の業務はローカル」という使い方が広まっています。

Ollamaは OpenAI互換のAPIサーバー として動作するため、以前紹介した RAG や MCP と組み合わせることもできます。

# OllamaはデフォルトでAPIサーバーとして起動している
# エンドポイント：http://localhost:11434

たとえばLangChainでOllamaを呼び出す場合は、以下のように書けます：

from langchain_ollama import ChatOllama

llm = ChatOllama(model="llama3.2")
response = llm.invoke("RAGとは何ですか？")
print(response.content)

クラウドAPIのコードをほぼそのまま使いつつ、コストゼロで実験できます。

Ollamaを使ったローカルLLMは、「AIを自分でコントロールしたい」「費用をかけずに試したい」というエンジニアにとって、2026年の必須ツールになりつつあります。

まずは ollama run llama3.2 の1コマンドを打ってみてください！

参考：