LLMアプリを本番運用していると、こんな問題に直面します:
- 「なぜこのプロンプトで変な回答が出たのか?」
- 「レイテンシが急に悪化した原因は?」
- 「APIコストがどのプロンプトに集中しているか?」
これらを解決するのが**LLM Observability(LLM可観測性)**ツールです。2026年現在、代表的な3ツールを徹底比較します。
LLM Observabilityとは
従来のAPMツール(DatadogやNew Relic)はLLMの特性に対応していません。LLMアプリには以下の特有の課題があります:
- プロンプトのバージョン管理:どのプロンプトが最も効果的か
- トレース:マルチステップのエージェント処理を追跡
- コスト分析:モデル・エンドポイントごとのトークン消費
- 評価(Eval):出力品質の定量的な測定
LLM Observabilityツールはこれらを専門的に扱います。
3ツール一覧
| ツール | 特徴 | ライセンス | ホスティング |
|---|---|---|---|
| Langfuse | OSSファースト、フル機能 | MIT | Self-host / Cloud |
| LangSmith | LangChain公式、統合完璧 | Proprietary | Cloud(要登録) |
| Helicone | 軽量、プロキシ方式 | Apache 2.0 | Self-host / Cloud |
Langfuse
最も人気の高いOSS LLM Observabilityツール。セルフホスト可能でプライバシー重視のチームに最適。
特徴
- 完全OSSでセルフホスト可能(Docker対応)
- トレース、プロンプト管理、評価(Eval)、コスト追跡
- Python / TypeScript SDK + LangChain / LlamaIndex統合
- Promptflowとの連携
コード例
from langfuse import Langfuse
from langfuse.decorators import observe
langfuse = Langfuse()
@observe()
def generate_response(user_query: str) -> str:
# この関数の実行が自動的にトレースされる
response = openai.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": user_query}]
)
return response.choices[0].message.content
result = generate_response("AIエージェントとは何ですか?")
料金
- セルフホスト:完全無料
- Cloud Hobby:無料(5万イベント/月)
- Cloud Pro:$59/月〜
向いているケース
- セルフホストでデータをコントロールしたい
- LangChain以外のフレームワークも使用
- Eval機能を重視
LangSmith
LangChainが提供する公式の観測プラットフォーム。LangChainとの統合が最もシームレス。
特徴
- LangChainとのゼロ設定統合
- 詳細なチェーン実行の可視化
- ヒューマンフィードバック収集
- データセット管理と評価パイプライン
コード例
import os
os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = "your-api-key"
# これだけでLangChainの全処理が自動トレースされる
from langchain_openai import ChatOpenAI
from langchain.chains import LLMChain
llm = ChatOpenAI(model="gpt-4o")
chain = LLMChain(llm=llm, prompt=prompt)
result = chain.invoke({"query": "AIエージェントとは?"})
# → LangSmithに自動的にトレースが記録される
料金
- Developer:無料(5,000トレース/月)
- Plus:$39/月
- Enterprise:要問い合わせ
向いているケース
- LangChain / LangGraphを主に使用
- 最小限の設定でトレースを始めたい
- チームでのコラボレーション重視
向いていないケース
- セルフホストが必要(現時点でCloudのみ)
- LangChain以外のフレームワーク中心
Helicone
「プロキシ方式」という独自アプローチ。OpenAI APIのURLを変えるだけでトレースが始まる。
特徴
- 設定不要:BaseURLを変えるだけ
- リアルタイムコストモニタリング
- キャッシュ機能(コスト削減)
- レート制限とアクセス管理
コード例
from openai import OpenAI
# これだけ!URLを変えるだけでトレース開始
client = OpenAI(
api_key="your-openai-key",
base_url="https://oai.helicone.ai/v1",
default_headers={
"Helicone-Auth": f"Bearer {HELICONE_API_KEY}",
}
)
response = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": "AIエージェントとは?"}]
)
料金
- Free:最初の10万リクエスト無料
- Growth:$20/月〜
- Enterprise:要問い合わせ
向いているケース
- 素早くモニタリングを始めたい
- コストとレート制限の管理が主目的
- キャッシュでAPIコストを削減したい
向いていないケース
- 詳細なプロンプト管理やEvalが必要
- エージェントの複雑なトレースを分析
3ツール比較まとめ
| 観点 | Langfuse | LangSmith | Helicone |
|---|---|---|---|
| セルフホスト | ✅ | ❌ | ✅ |
| LangChain統合 | ✅ | ✅ ネイティブ | △ |
| 設定の簡単さ | ○ | ○ | ✅ URL変更のみ |
| Eval機能 | ✅ 充実 | ✅ 充実 | △ 基本のみ |
| プロンプト管理 | ✅ | ✅ | △ |
| コスト追跡 | ✅ | ✅ | ✅ リアルタイム |
| キャッシュ | ❌ | ❌ | ✅ |
| 無料枠 | 5万/月 | 5,000/月 | 10万req |
| OSS | ✅ MIT | ❌ | △ Apache |
どれを選ぶべきか
セルフホスト必須 or フル機能のOSS
→ Langfuse
LangChain/LangGraph中心のプロジェクト
→ LangSmith
素早くモニタリング開始 or コスト削減重視
→ Helicone
まとめ
LLM Observabilityは「あると便利」から「本番運用の必須インフラ」になりました。
- Langfuse:OSS・セルフホスト派の定番
- LangSmith:LangChainユーザーの最短経路
- Helicone:とにかく速く始めたい人向け
3ツールとも無料枠があるので、まず試してみることをおすすめします。
関連リンク
- AgDex.ai — LLM可観測性ツールを含む210+のAIエージェントツールを掲載
- Langfuse GitHub
- LangSmith Docs
- Helicone GitHub