0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Langfuse vs LangSmith vs Helicone — LLM観測・デバッグツール比較【2026年版】

0
Posted at

LLMアプリを本番運用していると、こんな問題に直面します:

  • 「なぜこのプロンプトで変な回答が出たのか?」
  • 「レイテンシが急に悪化した原因は?」
  • 「APIコストがどのプロンプトに集中しているか?」

これらを解決するのが**LLM Observability(LLM可観測性)**ツールです。2026年現在、代表的な3ツールを徹底比較します。


LLM Observabilityとは

従来のAPMツール(DatadogやNew Relic)はLLMの特性に対応していません。LLMアプリには以下の特有の課題があります:

  • プロンプトのバージョン管理:どのプロンプトが最も効果的か
  • トレース:マルチステップのエージェント処理を追跡
  • コスト分析:モデル・エンドポイントごとのトークン消費
  • 評価(Eval):出力品質の定量的な測定

LLM Observabilityツールはこれらを専門的に扱います。


3ツール一覧

ツール 特徴 ライセンス ホスティング
Langfuse OSSファースト、フル機能 MIT Self-host / Cloud
LangSmith LangChain公式、統合完璧 Proprietary Cloud(要登録)
Helicone 軽量、プロキシ方式 Apache 2.0 Self-host / Cloud

Langfuse

最も人気の高いOSS LLM Observabilityツール。セルフホスト可能でプライバシー重視のチームに最適。

特徴

  • 完全OSSでセルフホスト可能(Docker対応)
  • トレース、プロンプト管理、評価(Eval)、コスト追跡
  • Python / TypeScript SDK + LangChain / LlamaIndex統合
  • Promptflowとの連携

コード例

from langfuse import Langfuse
from langfuse.decorators import observe

langfuse = Langfuse()

@observe()
def generate_response(user_query: str) -> str:
    # この関数の実行が自動的にトレースされる
    response = openai.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": user_query}]
    )
    return response.choices[0].message.content

result = generate_response("AIエージェントとは何ですか?")

料金

  • セルフホスト:完全無料
  • Cloud Hobby:無料(5万イベント/月)
  • Cloud Pro:$59/月〜

向いているケース

  • セルフホストでデータをコントロールしたい
  • LangChain以外のフレームワークも使用
  • Eval機能を重視

LangSmith

LangChainが提供する公式の観測プラットフォーム。LangChainとの統合が最もシームレス。

特徴

  • LangChainとのゼロ設定統合
  • 詳細なチェーン実行の可視化
  • ヒューマンフィードバック収集
  • データセット管理と評価パイプライン

コード例

import os
os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = "your-api-key"

# これだけでLangChainの全処理が自動トレースされる
from langchain_openai import ChatOpenAI
from langchain.chains import LLMChain

llm = ChatOpenAI(model="gpt-4o")
chain = LLMChain(llm=llm, prompt=prompt)
result = chain.invoke({"query": "AIエージェントとは?"})
# → LangSmithに自動的にトレースが記録される

料金

  • Developer:無料(5,000トレース/月)
  • Plus:$39/月
  • Enterprise:要問い合わせ

向いているケース

  • LangChain / LangGraphを主に使用
  • 最小限の設定でトレースを始めたい
  • チームでのコラボレーション重視

向いていないケース

  • セルフホストが必要(現時点でCloudのみ)
  • LangChain以外のフレームワーク中心

Helicone

「プロキシ方式」という独自アプローチ。OpenAI APIのURLを変えるだけでトレースが始まる。

特徴

  • 設定不要:BaseURLを変えるだけ
  • リアルタイムコストモニタリング
  • キャッシュ機能(コスト削減)
  • レート制限とアクセス管理

コード例

from openai import OpenAI

# これだけ!URLを変えるだけでトレース開始
client = OpenAI(
    api_key="your-openai-key",
    base_url="https://oai.helicone.ai/v1",
    default_headers={
        "Helicone-Auth": f"Bearer {HELICONE_API_KEY}",
    }
)

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "AIエージェントとは?"}]
)

料金

  • Free:最初の10万リクエスト無料
  • Growth:$20/月〜
  • Enterprise:要問い合わせ

向いているケース

  • 素早くモニタリングを始めたい
  • コストとレート制限の管理が主目的
  • キャッシュでAPIコストを削減したい

向いていないケース

  • 詳細なプロンプト管理やEvalが必要
  • エージェントの複雑なトレースを分析

3ツール比較まとめ

観点 Langfuse LangSmith Helicone
セルフホスト
LangChain統合 ✅ ネイティブ
設定の簡単さ ✅ URL変更のみ
Eval機能 ✅ 充実 ✅ 充実 △ 基本のみ
プロンプト管理
コスト追跡 ✅ リアルタイム
キャッシュ
無料枠 5万/月 5,000/月 10万req
OSS ✅ MIT △ Apache

どれを選ぶべきか

セルフホスト必須 or フル機能のOSS
  → Langfuse

LangChain/LangGraph中心のプロジェクト
  → LangSmith

素早くモニタリング開始 or コスト削減重視
  → Helicone

まとめ

LLM Observabilityは「あると便利」から「本番運用の必須インフラ」になりました。

  • Langfuse:OSS・セルフホスト派の定番
  • LangSmith:LangChainユーザーの最短経路
  • Helicone:とにかく速く始めたい人向け

3ツールとも無料枠があるので、まず試してみることをおすすめします。


関連リンク

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?