1. はじめに（目的）
- API利用コストを抑えたローカル実行環境を構築したい
- 機密性の高いデータを扱えるよう、ローカル環境で処理を完結させたい
2. 構成概要（システム全体）
| 構成要素 | 内容 |
|---|---|
| 言語モデル | オープンソースの日本語対応LLM |
| APIサーバー | Python製FastAPIをローカルで構築・常駐化 |
| フロントエンド | Dify（自己ホスト環境／Docker Compose利用） |
3. 実装と構築方法
3.1 モデルとAPIの構築
使用モデル：
cyberagent/open-calm-small
このモデルをローカルに読み込み、FastAPIでAPIエンドポイントを提供しています。
FastAPI 実装例（抜粋）：
from fastapi import FastAPI, Request
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
app = FastAPI()
tokenizer = AutoTokenizer.from_pretrained("cyberagent/open-calm-small", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("cyberagent/open-calm-small", trust_remote_code=True)
model = model.to(torch.device("cuda" if torch.cuda.is_available() else "cpu"))
@app.post("/v1/chat/completions")
async def chat_completion(request: Request):
data = await request.json()
user_message = data["messages"][-1]["content"]
input_ids = tokenizer.encode(user_message, return_tensors="pt").to(model.device)
output_ids = model.generate(input_ids, max_new_tokens=100, do_sample=True, top_p=0.95, temperature=0.7)
result = tokenizer.decode(output_ids[0], skip_special_tokens=True)[len(user_message):].strip()
return {
"id": "chatcmpl-opencalm",
"object": "chat.completion",
"choices": [{"message": {"role": "assistant", "content": result}}],
"model": "cyberagent/open-calm-small"
}
3.2 Dify（セルフホスト構成）
- Difyは公式のDocker Compose構成を利用して、自己ホスト型で構築しています。
- Difyからは、HTTPリクエストノードを用いてFastAPIエンドポイントに接続し、プロンプトを送信して応答を取得しています。
- OpenAI互換のレスポンス形式で構成しているため、GUI上でスムーズに動作させることができます。
4. 実行結果と観察
✅ 動作確認
- DifyのUIからプロンプトを送信し、ローカルLLMから応答を取得できました。
- 応答形式はOpenAI互換であるため、追加の実装を行うことなく連携できました。
✅ 処理性能と品質
- 応答速度は、CPU環境でおおよそ数秒〜十数秒でした。
- 応答の文構造は成立していますが、期待した内容には届いていない場面も確認されました。
今回使用したモデルは小型で扱いやすい反面、応答の一貫性や知識の網羅性には課題が見られました。
今後、上位のLLMモデルやそれに適したハードウェアを利用することで、速度と品質の向上が期待できる可能性があります。
実行環境（検証マシン）
| 項目 | 内容 |
|---|---|
| OS | Windows 10（64bit） |
| CPU | Intel Core i5（第6世代相当） |
| メモリ | 16GB |
| GPU | NVIDIA GTX 1050（2GB） |
5. おわりに
本検証により、ローカル環境のみで構成された日本語LLMチャット基盤を構築できることを確認しました。
また、DifyのGUIを活用することで、非エンジニアでも対話形式の操作が可能となり、利便性が高まることも分かりました。
応答品質には課題が残るものの、構成としての再現性や導入のしやすさは十分に確認できました。
さらに、利用可能範囲をプライベートネットワーク内にすることで企業内での活用にも応用可能と考えます。