0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@agdexai

Langfuse vs LangSmith vs Helicone — LLM観測・デバッグツール徹底比較【2026年版】

0
Last updated at Posted at 2026-04-17

LLMアプリを本番運用していると、こんな問題に直面します：

  • 「なぜこのプロンプトで変な回答が出たのか？」
  • 「レイテンシが急に悪化した原因は？」
  • 「APIコストがどのプロンプトに集中しているか？」

これらを解決するのが**LLM Observability（LLM可観測性）**ツールです。2026年現在、代表的な3ツールを徹底比較します。

LLM Observabilityとは

通常のアプリケーション監視（CPU・メモリ・レイテンシ）に加えて、LLMアプリには固有の観測ニーズがあります：

  • トレース：LLMへの入出力を全て記録
  • スパン：RAGの検索→生成、エージェントの各ステップを可視化
  • 評価：回答品質・幻覚・関連性をスコアリング
  • コスト分析：モデル別・ユーザー別のトークン消費

1. Langfuse

URL: https://langfuse.com
GitHub: https://github.com/langfuse/langfuse（⭐ ~10,000）
ライセンス: MIT（セルフホスト可）

概要

「LLMエンジニアリングのためのオープンソース観測プラットフォーム」。クラウド版とセルフホスト版の両方が提供されており、プライバシーを重視するチームやOSSを選びたいチームに人気。

主な特徴

  • 完全オープンソース：コードを全て確認・修正可能
  • セルフホスト対応：データを自社サーバーに保管できる
  • SDK: Python / JavaScript / TypeScript
  • LangChain・LlamaIndex統合：コールバックを追加するだけ
  • Prompt管理：バージョン管理付きプロンプトストア
  • 評価機能：ユーザーフィードバック・LLM-as-judge・カスタムスコア
  • データセット：評価用データセットの構築と管理

料金（2026年4月時点）

プラン 価格 内容
Hobby 無料 月50k観測、セルフホスト無制限
Pro $59/月 月1M観測、チームメンバー追加
Enterprise カスタム SLA・SSO・専用サポート

コード例（Python）

from langfuse import Langfuse
from langfuse.decorators import observe

langfuse = Langfuse(
    public_key="pk-lf-...",
    secret_key="sk-lf-...",
    host="https://cloud.langfuse.com"
)

@observe()  # このデコレータだけで自動トレース
def process_question(question: str) -> str:
    from openai import OpenAI
    client = OpenAI()
    
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": question}]
    )
    return response.choices[0].message.content

# 呼び出すだけで自動的にLangfuseにトレースが記録される
answer = process_question("LLM Observabilityとは何ですか？")

LangChainとの統合

from langfuse.callback import CallbackHandler

handler = CallbackHandler(
    public_key="pk-lf-...",
    secret_key="sk-lf-..."
)

# LangChainのチェーンに追加するだけ
chain.invoke({"question": "..."}, config={"callbacks": [handler]})

2. LangSmith

URL: https://smith.langchain.com
提供元: LangChain, Inc.（商用プロダクト）

概要

LangChainの公式観測・評価プラットフォーム。LangChainやLangGraphを使っている場合、環境変数2行で統合できる手軽さが最大の強み。ただしクローズドソースで、セルフホスト不可。

主な特徴

  • LangChain/LangGraph深度統合：LANGCHAIN_TRACING_V2=trueで即日利用開始
  • Playground：プロンプトをGUI上で対話的に編集・テスト
  • Evaluation Hub：評価データセット管理とCI/CDへの組み込み
  • Hub: コミュニティのプロンプトテンプレートを共有・再利用
  • 自動トレース：LangChainを使っていれば追加コード不要

料金（2026年4月時点）

プラン 価格 内容
Developer 無料 月5,000トレース
Plus $39/月 月100,000トレース
Enterprise カスタム 無制限・SSO

コード例（環境変数だけで統合）

import os
os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = "ls__..."
os.environ["LANGCHAIN_PROJECT"] = "my-project"

# これだけ！LangChainのコードは変更不要
from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate

llm = ChatOpenAI(model="gpt-4o")
prompt = ChatPromptTemplate.from_template("質問に答えて：{question}")
chain = prompt | llm

chain.invoke({"question": "LangSmithとは？"})
# → 自動的にLangSmithにトレースが送信される

3. Helicone

URL: https://helicone.ai
GitHub: https://github.com/Helicone/helicone（⭐ ~2,000）
ライセンス: Apache 2.0

概要

「1行のコード変更でLLM観測を追加する」をコンセプトにしたプロキシ型ツール。OpenAIのベースURLを変えるだけで動作するため、既存コードへの侵入が最小限。

主な特徴

  • プロキシ方式：OpenAI/Anthropic/AzureのベースURLを変えるだけ
  • ゼロレイテンシオーバーヘッド（ほぼ）：非同期ロギング
  • ダッシュボード：コスト・レイテンシ・エラー率をリアルタイム可視化
  • ユーザートラッキング：ユーザーID別の使用量・コスト分析
  • キャッシング：同一リクエストのLLM呼び出しをキャッシュしてコスト削減
  • レート制限：ユーザー別のAPI使用量制限

料金（2026年4月時点）

プラン 価格 内容
Free $0 月10,000リクエスト
Pro $20/月 月200,000リクエスト
Growth $79/月 月1,000,000リクエスト

コード例（1行変更）

from openai import OpenAI

# 変更前
# client = OpenAI()

# 変更後：base_urlをHeliconeに向けるだけ
client = OpenAI(
    base_url="https://oai.helicone.ai/v1",
    default_headers={
        "Helicone-Auth": "Bearer sk-helicone-...",
        "Helicone-User-Id": "user-123",  # ユーザー別分析用
    }
)

# 以降のコードは全く変更不要
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "こんにちは"}]
)

比較表

項目 Langfuse LangSmith Helicone
オープンソース ✅ MIT ❌ ✅ Apache 2.0
セルフホスト ✅ ❌ ✅（一部）
LangChain統合 ✅ 良好 ✅ 最高 △
導入の手軽さ 中 低（env変数のみ） 最低（1行）
プロンプト管理 ✅ ✅ △
評価機能 ✅ 豊富 ✅ 豊富 △ 基本的
コスト分析 ✅ ✅ ✅ 強い
無料枠 50k/月 5k/月 10k/月
有料プラン $59〜 $39〜 $20〜

どれを選ぶべきか

🔓 OSS重視・セルフホストしたい → Langfuse

  • データを自社サーバーに置きたいチームに最適
  • 評価・プロンプト管理・データセット機能が充実
  • LangChain以外のフレームワーク（LlamaIndex・独自実装）でも使いやすい

🔗 LangChain/LangGraphヘビーユーザー → LangSmith

  • 環境変数1つで統合完了、最速でトレースを見られる
  • LangChainのPlayground・Hubと深く連携
  • 公式サポートが受けられる安心感

⚡ とにかく素早く導入したい → Helicone

  • 既存コードを変えたくない、1分で始めたい場合
  • OpenAI/Anthropic直叩きのシンプルなアプリに最適
  • コスト監視・キャッシングを手軽に追加したい

まとめ

ユースケース 推奨ツール
初めてObservabilityを試す Helicone（導入1分）
LangChainアプリを本格運用 LangSmith
OSS・セルフホスト・本格評価 Langfuse
複数ツール使いたい Langfuse + Helicone（コスト管理はHelicone、評価はLangfuse）

LLMアプリの「ブラックボックス問題」を解決するObservabilityツールは、本番運用には必須の存在です。まずはHeliconeで1行追加して可視化を始め、チームが成長したらLangfuseへの移行を検討するのが現実的なロードマップです。

その他のLLM開発ツールは AgDex.ai でまとめています。550以上のAIエージェントツールをカテゴリ別に整理しています。

この記事はAgDex.ai編集部が2026年4月に執筆しました。

🔍 AIエージェントツールをもっと探す

この記事で紹介したツール以外にも、2026年注目のAIエージェント関連ツールを探したい方は、ぜひ AgDex.ai をご活用ください。

AgDex.ai

AgDex.ai は、550以上のAIエージェントツール・フレームワーク・LLMプロバイダーをカテゴリ別に整理したキュレーションディレクトリです。

  • 🗂️ カテゴリ別検索：コアフレームワーク / エコシステム / LLM / クラウド / ツール
  • 🌐 4言語対応：日本語・英語・ドイツ語・スペイン語
  • 🔍 フィルター機能：オープンソース/クローズドソース・無料/有料・初心者/上級者
  • 🔗 直接リンク：https://agdex.ai

毎週更新中。お気に入りのツールが見つかったらブックマーク & シェアをお願いします！

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?