LangChain × Ollamaで無料のローカルLLM開発環境を構築する方法（Windows対応）
はじめに
はじめまして、Edocです。
普段は組み込みエンジニアとして働きながら、Python・FastAPI・Reactを使ったAI・機械学習関連の個人開発をしています。
現在は、教育向けのデータ分析・機械学習プラットフォームを開発しており、その中で得られた知見をQiitaでも発信していきます。
今回は、LangChainを使ったLLM開発で非常に便利だった Ollama を紹介します。
API料金を気にしながら開発していませんか？
LangChainでAIエージェントやチャットアプリを開発していると、
- OpenAI API
- Claude API
- Gemini API
などを利用する機会が増えます。
しかし開発中は、
- デバッグで何度もAPIを呼ぶ
- エージェントが意図せずループする
- プロンプトを少し変更して何度も試す
といったことが日常的に発生します。
そのたびにAPI料金が発生すると、気軽に試行錯誤しづらいと感じることもあるのではないでしょうか。
そこでおすすめなのが Ollama です。
Ollamaとは？
Ollamaは、ローカル環境で大規模言語モデル（LLM）を実行できるツールです。
主な特徴は以下の通りです。
- ローカルでLLMを実行できる
- API料金が不要
- LangChainとの連携が簡単
- Windows・macOS・Linuxに対応
- GPUがあれば高速に動作
開発中の実験環境として非常に優秀です。
使用できるモデル
例えば以下のようなモデルが利用できます。
| モデル | 特徴 |
|---|---|
| Llama 3 | Meta製の高性能LLM |
| Gemma | Google製 |
| Mistral | 軽量・高速 |
| CodeLlama | コード生成向け |
| Phi | Microsoft製軽量モデル |
インストール
公式サイトからインストールします。
インストール後は以下を実行します。
ollama run gemma3:12b
これだけでモデルのダウンロードと起動が始まります。
初回のみモデルのダウンロードが行われます。
GPUが利用されているか確認する
NVIDIA GPUを利用している場合は
nvidia-smi
を実行します。
GPUメモリが使用されていれば、OllamaがGPUを利用して推論していることが確認できます。
私の環境では
- Ryzen 7 5700X
- RTX4060Ti 16GB
- メモリ32GB
で gemma3:12b を快適に動かせました。
LangChainと連携する
Python側は非常にシンプルです。
from langchain_community.chat_models import ChatOllama
llm = ChatOllama(
model="gemma3:12b"
)
response = llm.invoke("こんにちは。自己紹介してください。")
print(response.content)
これだけでLangChain経由でローカルLLMを利用できます。
Ollamaを使って感じたメリット
実際に使ってみて感じたメリットは次の3点です。
- API料金を気にせず試行錯誤できる
- オフラインでも開発できる
- LangChainとの組み合わせが非常に簡単
特にプロンプト調整やエージェント開発では、「失敗を恐れず何度でも試せる」ことが大きなメリットでした。
まとめ
私自身、現在はFastAPI・Reactを使ってAI・機械学習関連のWebアプリを個人開発しています。
開発初期は Ollamaで無料検証 を行い、最終確認だけOpenAI APIなどを利用する運用にすることで、コストを抑えながら効率よく開発できています。
これからローカルLLMを始める方や、LangChainを使ったAI開発をしている方は、ぜひ一度Ollamaを試してみてください。
今後もFastAPI・React・機械学習・LLM開発など、実際に開発して得られた知見を中心に投稿していく予定です。