ゼロから構築！OllamaとLangChainで作るオフラインAIアプリ

「OllamaとLangChain」でオフラインAIアプリ開発：これを知らないとハマる！メモリ不足とバージョン地獄からの脱却

「機密性の高いデータをクラウドに上げたくない」「インターネット接続がない環境でAIを使いたい」そう考え、ローカルLLM（Ollamaなど）の導入を検討したものの、メモリ不足やLangChainのバージョン競合でつまずいていませんか？

この記事では、OllamaとLangChainを組み合わせ、オフラインAIアプリをゼロから構築する具体的な手順と、開発現場でよく直面するエラーの回避策、そして設計上のベストプラクティスを、実務エンジニア向けに徹底解説します。この記事を読めば、プライバシーとパフォーマンスを両立させたローカルAI環境を手に入れることができます。

なぜ今、ローカルLLMとオフラインAIアプリなのか？

このセクションでは、ローカルLLMの重要性と、オフラインAIアプリが解決する課題について解説します。

近年、ChatGPTをはじめとする大規模言語モデル（LLM）の進化は目覚ましいものがあります。しかし、これらのクラウドベースのLLMには、機密データの外部送信、コスト、インターネット接続必須といった制約がつきまといます。

そこで注目されているのが、手元のPCでLLMを動作させるローカルLLMです。特にOllamaは、その手軽さから急速に普及しています。

オフラインAIアプリは、ローカルLLMとLangChainやLlamaIndexといったフレームワークを組み合わせることで、以下のようなメリットを享受できます。

• プライバシー・セキュリティの確保: 企業秘密や個人情報を含むデータを外部に送信することなく処理できます。
• コスト削減: API利用料がかからず、初期投資と電気代のみで運用可能です。
• ネットワーク制約からの解放: インターネット接続がない環境や不安定な環境でもAIを利用できます。
• 低遅延: データ転送のオーバーヘッドがないため、高速な応答が期待できます。

前提環境とOllamaのインストール

このセクションでは、Ollamaのインストール方法と、この記事で利用する環境について説明します。

Ollamaは、Mac、Windows、Linux、Dockerなど、多様な環境で動作します。本記事の検証環境は2024年7月時点のものです。

• Ollama: v0.18.0
• Python: 3.9以上
• LangChain: v0.3系 (関連パッケージ含む)

1. Ollamaのインストール

まずはOllamaをインストールします。公式ドキュメントに従うのが最も確実です。

# 公式ドキュメント: https://ollama.com/download

# 例: macOSの場合
curl -fsSL https://ollama.com/install.sh | sh

# 例: Windowsの場合
# 公式サイトからインストーラーをダウンロード・実行

# インストール後、バージョンを確認
ollama --version

2. LLMモデルのダウンロード

次に、Ollamaで利用するLLMモデルと埋め込みモデルをダウンロードします。オフラインAIアプリでは、これらのモデルがローカルに存在することが必須です。

# LLMモデルのダウンロード (例: Llama 3.1 8B)
# 7Bパラメータモデルは、約8GBのメモリを必要とします。
ollama pull llama3.1:8b

# 埋め込みモデルのダウンロード (RAG用)
# nomic-embed-textはセマンティック検索に特化した埋め込みモデルです。
ollama pull nomic-embed-text

ローカルLLMの動作には、特にメモリ（RAM / VRAM）が重要です。目安として、7Bパラメータのモデルで約8GB、13Bで約16GBが必要です。量子化モデル（Q4_K_Mなど）を利用することで、必要なメモリ量を抑えることができます。

LangChainとOllamaでシンプルなオフラインチャットボットを構築

このセクションでは、LangChainとOllamaを連携させ、シンプルなチャットボットを構築する手順を解説します。

1. 必要なPythonパッケージのインストール

LangChainとOllamaを連携させるために、関連パッケージをインストールします。

pip install langchain langchain-ollama langchain-core

2. チャットボットの実装

以下のコードは、Ollamaでダウンロードしたllama3.1:8bモデルを利用して、ユーザーの質問に応答するチャットボットです。langchain-ollamaパッケージのChatOllamaクラスを使用します。

from langchain_ollama import ChatOllama
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

# Ollamaで稼働しているモデルを指定
# temperatureは応答のランダム性を制御します。
# 0.0で決定論的、1.0で創造的になります。オフラインAIでも同様に機能します。
llm = ChatOllama(model="llama3.1:8b", temperature=0.7)

# プロンプトテンプレートの作成
# LangChainのChatPromptTemplateは、役割に応じたプロンプトを簡単に構築できます。
prompt = ChatPromptTemplate.from_messages([
    ("human", "{question}")
])

# チェーンの構築
# LLMChainは、プロンプト -> LLM -> 出力パーサー の流れを定義します。
chain = prompt | llm | StrOutputParser()

# 質問と回答の生成
question = "こんにちは。良い天気ですね。今日の東京の天気は？"
response = chain.invoke({"question": question})
print(response)

このコードを実行すると、Ollamaで起動しているllama3.1:8bモデルが質問に応答します。インターネット接続は不要で、完全にローカルで処理が完結します。

LangChainとOllamaによるオフラインRAG（検索拡張生成）の構築

このセクションでは、ローカルLLMの弱点である「最新情報へのアクセス」や「ハルシネーション（幻覚）」を克服するため、LangChainとOllama、そしてローカルドキュメントを用いたRAG（Retrieval Augmented Generation）システムを構築します。

1. 必要なPythonパッケージのインストール

RAGシステムを構築するために、追加のパッケージをインストールします。langchain-chromaはベクトルストアとしてChromaDBを、langchain-communityはOllamaのようなコミュニティ統合を提供します。

pip install langchain langchain-ollama langchain-chroma langchain-community pypdf

2. RAGシステムの実装

以下のコードは、ローカルのMarkdownファイルを読み込み、それをベクトル化してChromaDBに保存し、その情報に基づいてLLMが質問に応答するRAGパイプラインです。完全にオフラインAIとして動作します。

from langchain_community.document_loaders import TextLoader
from langchain_community.embeddings import OllamaEmbeddings
from langchain_community.vectorstores import Chroma
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain_ollama import ChatOllama
import os
import shutil

# ドキュメントの準備 (例: sample.md)
# 実行前に 'sample.md' ファイルを作成してください。
# RAGは、LLMが外部情報を参照して回答を生成する技術です。
# これにより、LLMのハルシネーションを抑制し、最新情報に基づいた回答が可能になります。
file_content = """
これはテストドキュメントです。OllamaとLangChainを使ってRAGを試します。
RAGはRetrieval Augmented Generationの略で、外部情報を参照してLLMの回答精度を高める技術です。
この技術により、LLMのハルシネーションを抑制し、最新情報に基づいた回答が可能になります。
OllamaはローカルLLMを簡単に実行できるツールです。
LangChainはLLMアプリケーション開発のための強力なフレームワークです。
"""
file_path = "sample.md"
with open(file_path, "w", encoding="utf-8") as f:
    f.write(file_content)

print(f"ファイル '{file_path}' を作成しました。")

# ドキュメントの読み込み
loader = TextLoader(file_path, encoding="utf-8")
documents = loader.load()

# テキストの分割
# LLMのコンテキスト長に収まるように、ドキュメントをチャンクに分割します。
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(documents)

# 埋め込みモデルの準備
# OllamaEmbeddingsは、Ollamaでダウンロードした埋め込みモデルを利用します。
embeddings = OllamaEmbeddings(model="nomic-embed-text")

# ベクトルストアの作成とインデックス化
# Chromaは軽量なローカルベクトルストアです。
# persist_directoryを指定することで、ベクトルストアをディスクに保存し、再利用できます。
persist_directory = "./chroma_db"
if os.path.exists(persist_directory):
    shutil.rmtree(persist_directory) # 既存のDBを削除して再作成
vectorstore = Chroma.from_documents(documents=splits, embedding=embeddings, persist_directory=persist_directory)
print(f"ベクトルストアを '{persist_directory}' に作成しました。")

# LLMの準備
llm = ChatOllama(model="llama3.1:8b")

# RAGチェーンの構築
# RetrievalQA.from_chain_typeは、RAGチェーンを構築するための推奨される方法です。
qa_chain = RetrievalQA.from_chain_type(
    llm,
    retriever=vectorstore.as_retriever() # ベクトルストアから関連ドキュメントを取得するリトリーバーを設定
)

# 質問
query = "このドキュメントは何について書かれていますか？RAGとは何ですか？"
response = qa_chain.invoke({"query": query})
print("\n--- RAGによる回答 ---")
print(response)

# ベクトルストアのクリーンアップ (必要に応じて)
# vectorstore.delete_collection() # ベクトルストアのコレクションを削除
# if os.path.exists(persist_directory):
#     shutil.rmtree(persist_directory) # ディレクトリごと削除
#     print(f"ベクトルストア '{persist_directory}' を削除しました。")

このRAGシステムは、sample.mdの内容に基づいて質問に答えます。これにより、LLMが学習データにない最新情報や特定の知識にアクセスできるようになり、オフラインAIの適用範囲が大きく広がります。

よくあるエラー・ハマりどころと回避策

このセクションでは、OllamaやLangChainを使ったオフラインAIアプリ開発で遭遇しやすいエラーとその具体的な解決策を解説します。

1. Error: digest mismatch, file must be downloaded again

• 原因: Ollamaでモデルをダウンロードする際に発生します。ネットワーク環境の不安定さやプロキシ設定が原因となることが多いです。
• 回避策:
  • 安定したネットワーク環境で再試行してください。
  • プロキシ環境下の場合は、Ollamaの環境変数 OLLAMA_PROXY やシステムのプロキシ設定が正しく行われているか確認してください。
  • Ollamaのキャッシュをクリアして再ダウンロードを試すことも有効です。キャッシュの場所は通常 ~/.ollama/models です。
  • 稀に、カスタムModelfileでFROMに直接URLを指定してダウンロードを試す方法もありますが、公式ドキュメントで推奨されている方法ではありません。

2. Error: prompt is too long / メモリ不足 (OOM) エラー

• 原因: ローカルLLMのコンテキスト長が、処理したいテキストの長さを超えている、または指定したコンテキスト長が大きすぎてPCのメモリ（RAM/VRAM）が不足している場合に発生します。
• 回避策:
  • num_ctx の調整: Ollamaモデルをロードする際に、コンテキスト長を調整します。

    # Ollama CLIで実行時に指定
    ollama run llama3.1:8b --num-ctx 4096
    

    LangChainからは ChatOllama クラスの引数として指定します。

    llm = ChatOllama(model="llama3.1:8b", num_ctx=4096) # デフォルトは2048、最大4096や8192などモデルによる
    

  • より軽量なモデルを使用: 7Bパラメータのモデルから3Bや1Bパラメータのモデルに切り替えることを検討してください。モデルの品質は下がりますが、メモリ消費を大幅に抑えられます。
  • GPUオフロードの調整: GPUを搭載しているPCの場合、環境変数 OLLAMA_NUM_GPU でGPUにオフロードするレイヤー数を調整できます。
    • OLLAMA_NUM_GPU=0: CPUのみを使用
    • OLLAMA_NUM_GPU=-1: 全てのレイヤーをGPUにオフロード（デフォルト）
    • OLLAMA_NUM_GPU=N: N個のレイヤーをGPUにオフロード

    # 例: 最初の10レイヤーのみGPUにオフロード
    OLLAMA_NUM_GPU=10 ollama run llama3.1:8b
    

    これにより、CPUとGPUの負荷をバランスさせ、OOMを回避できる場合があります。

3. LangChainのインポートエラー (ModuleNotFoundError や ImportError)

• 原因: LangChainは活発に開発されており、バージョンアップに伴い内部構造やパッケージ名が頻繁に変更されます。特にlangchain_coreやlangchain_communityといったサブパッケージとのバージョン競合が原因で発生しやすいです。
• 回避策:
  • LangChainおよび関連パッケージを最新バージョンにアップグレードしてください。

    pip install --upgrade langchain langchain-ollama langchain-community langchain-core
    

  • バージョン競合が解決しない場合、既存の環境をクリーンアップし、新しい仮想環境を作成してパッケージを再インストールすることが最も確実です。
  • 特定のバージョンを指定してインストールする（例: pip install "langchain>=0.3,<0.4" "langchain-core>=0.3,<0.4"）ことで、安定した環境を構築できます。

4. ollama serve エラー (Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket address ... is normally permitted.)

• 原因: Ollamaが使用しようとしているデフォルトポート（11434）が、既に他のプロセス（バックグラウンドで自動起動しているOllamaなど）によって使用されているために発生します。
• 回避策:
  • 現在実行中のOllamaプロセスを停止してください。macOSではメニューバーアイコンから「Quit Ollama」を選択、Linuxでは killall ollama コマンドを使用します。Windowsではタスクマネージャーから関連プロセスを終了します。
  • Ollamaがシステム起動時に自動起動しないよう設定を確認し、無効にします。その後、システムを再起動し、手動で ollama serve コマンドを実行してください。
  • 別のポートを使用することも可能ですが、LangChainなどから接続する際に明示的なポート指定が必要になります。

5. ollama.create のエラー (ResponseError: invalid digest format)

• 原因: カスタムModelfileで外部のLLMをインストールしようとした際に発生するエラーです。Modelfileの記述ミスや、参照しているモデルファイルが破損している可能性があります。
• 回避策:
  • Ollamaのログファイル (~/.ollama/logs/server.log など) を確認し、エラーの詳細な情報を把握してください。
  • ModelfileのFROMパスやTEMPLATE、SYSTEMなどの記述が正しいか再確認してください。
  • OllamaのDiscordコミュニティは非常に活発で、同様のエラーに対する解決策が見つかることが多いです。

設計上のトレードオフとベストプラクティス：オフラインAIの未来

このセクションでは、ローカルLLMを活用したオフラインAIアプリを設計する上でのトレードオフと、今後のベストプラクティスについて考察します。

ローカルLLMとクラウドLLMの使い分け

OllamaのようなローカルLLMと、GPT-4oやClaudeのようなクラウドLLMにはそれぞれメリット・デメリットがあり、適切に使い分けることが重要です。

• Ollama (ローカルLLM) の利点:

  • コスト無料: API利用料がかからず、初期投資と電気代のみ。
  • プライバシー・セキュリティ: データが外部に出ないため、機密性の高い情報も安全に処理できます。
  • オフライン動作: インターネット接続がない環境でも利用可能。
  • 低遅延: ローカル処理のため、高速な応答が期待できます。
  • カスタマイズ性: Modelfileでモデルを細かく調整したり、微調整（ファインチューニング）が容易です。
  • 最適シーン: 個人学習、プロトタイプ開発、プライバシーに敏感なデータ処理、ネットワーク環境が不安定な場合。

• クラウドAPI (GPT-4o/Claudeなど) の利点:

  • 最高品質のモデル: 最先端のLLMが利用でき、複雑なタスクや高度な推論に強いです。
  • 安定性とスケーラビリティ: 大規模な利用や高並行なリクエストにも安定して対応できます。
  • ネイティブなツール呼び出し: ツール利用やエージェント機能が安定しています。
  • 最適シーン: 本番環境、高並行処理、複雑なAgentタスク、最高精度が求められる場合。

ベストプラクティス: 開発段階はコストを抑え、プライバシーを確保できるOllamaを使い、プロトタイプを迅速に構築します。その後、本番環境への移行時には、安定性とモデル品質を考慮してOpenAIなどのクラウドAPIに切り替えるハイブリッド運用が理想的です。LangChainを使用していれば、モデルの切り替えはわずか1行のコード修正で済む場合が多く、移行コストは非常に低いです。

ハードウェア要件とパフォーマンスチューニング

ローカルLLMのパフォーマンスはハードウェアに大きく依存します。

• メモリ（RAM/VRAM）: 最も重要なリソースです。モデルサイズに応じた十分なメモリを確保してください。GPUのVRAMが多いほど、より大きなモデルやより多くのレイヤーをオフロードできます。
• GPUオフロード: NVIDIA GPU（CUDA Compute Capability 5.0以上）やApple Silicon（Metal API）を利用すると、推論速度を大幅に向上させることができます。Ollamaはこれを自動的に利用します。
• 量子化モデル: モデルを量子化することで、必要なメモリ量を減らし、推論速度を向上させることができます。llama3.1:8bのようなモデル名に含まれる:8bは、8-bit量子化モデルを指すことが多いです。Q4_K_Mのような表記は、さらに深い量子化を意味します。
• トレードオフ: 応答速度と精度はトレードオフの関係にあります。許容できる最低限の精度を維持できるモデルサイズと量子化レベルを特定し、低スペックPCでも実用レベルの速度を達成することを目指しましょう。

RAG構築の設計思想

オフラインAIでRAGシステムを構築する際、以下の点を考慮すると良いでしょう。

• 役割分担: 「推論」「記憶」「制御」の3つの役割を、Ollama（推論）、ChromaDBやQdrant（ベクトルDB、記憶）、LangChain（制御）に分担させることが標準的なスタックとなりつつあります。
• 2段階検索: LLMに渡す情報の純度を高めるために、ベクトル検索で候補を絞り込み、さらに再ランク付け（Re-ranking）を行う2段階検索プロセスを検討してください。これにより、関連性の低い情報がLLMに渡されるのを防ぎ、回答の精度を向上させます。
• LlamaIndex: LlamaIndexは、多様なデータソースからの取り込み、文書のチャンク分割、埋め込み生成、ベクトルDBへの保存、QueryEngine構築など、RAG構築に必要なコンポーネントを網羅的に提供します。LangChainと並行して検討する価値のある強力なフレームワークです。
• ベクトルDBの量子化: 5万件以上の大規模なデータセットを扱う場合、ベクトルDB自体の量子化技術を検討し、メモリ消費を抑制することも重要です。

LangChainのモジュール性

LangChainは、プロンプト、LLM、ドキュメントローダー、ユーティリティ、チェーン、エージェントなど、様々なモジュールを提供しています。これらを適切に組み合わせることで、複雑なオフラインAIアプリも効率的に構築できます。特にlangchain-communityパッケージは、Ollamaのようなコミュニティによって開発された多様な統合を提供しており、エコシステムの広がりを感じさせます。

まとめ

この記事では、OllamaとLangChainを用いてオフラインAIアプリを構築する具体的な手順と、実務で遭遇しやすいエラーの解決策、そして設計上のベストプラクティスを解説しました。

重要なポイントを再掲します。

• Ollamaを導入することで、プライバシーを確保し、インターネット接続なしでローカルLLMを利用できます。
• LangChainのモジュール性とlangchain-ollamaパッケージにより、OllamaのLLMや埋め込みモデルを簡単に統合できます。
• オフラインRAGを構築することで、ローカルLLMの知識を拡張し、ハルシネーションを抑制できます。
• メモリ不足やバージョン競合といった典型的なエラーには、num_ctxの調整、軽量モデルの利用、パッケージの最新化などで対処できます。
• ローカルLLMとクラウドLLMの使い分け、ハードウェア要件の理解、RAGの設計思想が、効果的なオフラインAIアプリ開発の鍵となります。

これであなたも、自身のPC上でAIを動かし、セキュリティと自由度を兼ね備えたアプリケーションを開発できるはずです。さらに深く学びたい方は、Ollama、LangChain、LlamaIndexの公式ドキュメントを参照し、様々なモデルやコンポーネントを試してみてください。