3
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Dify / LiteLLM Proxyで動く AI エージェントを New Relic APM エージェントで監視してみた

3
Last updated at Posted at 2026-11-18

Dify のノーコードで組んでいた記事執筆エージェントにNew Relic の Python APM エージェントを組み込み、AIトレースを観測してみます!

はじめに

前回の記事で、Dify / LiteLLM Proxy で作った生成AIアプリを、OpenTelemetry(OTel)で AIトレースを観測する方法について紹介しました。

今回はその続編です。Dify のノーコードで組んでいた記事執筆エージェントを Python(FastAPI)で書き直して Docker で動かし、New Relic の Python APM エージェントで観測します。

New Relic Python エージェントは v14.3.0 から AI Monitoring が既定で有効になりました。エージェントを入れるだけで、LLM 呼び出しのイベント・スパン・メトリクスが送られます。(※InputとOutputの内容についてはデフォルトでは送りません)

本記事では、この APM エージェント版の構成と設定、そして OTel 版との違いとして分かった 分散トレーシングのつながり方 を紹介します。

試した環境について

前回と同じ、3つのエージェントを順番に通す記事執筆エージェントです。

エージェント 役割
下調べエージェント 与えられたテーマについて、記事を書くために必要な事実・論点・背景・具体例を箇条書きで整理する。
執筆エージェント リサーチメモをもとに、読みやすい記事を日本語で執筆する。
校正エージェント 執筆された記事を推敲し、完成版を出力する。

前回は Dify の Workflow の中に3つの LLM ノードを並べていました。今回はこの3段の処理を Python のコードで実装し、Dify からは カスタムツール として HTTP で呼び出します。

ユーザー入力
   │
   ▼
┌──────────── Dify (Workflow) ────────────┐
│  開始 → カスタムツール(runWriter) → 終了  │
└──────────────────┬──────────────────────┘
                   │ HTTP (SSRF プロキシ経由)
                   ▼
┌──────── writer-agent (Docker / Python) ────────┐
│  FastAPI  POST /run                              │
│  下調べ → 執筆 → 校正  (openai SDK)              │
│  New Relic Python エージェント 14.3.0            │──┐ APM / AI Monitoring
└──────────────────┬──────────────────────────────┘  │
                   │ OpenAI 互換 API (traceparent 付き)│
                   ▼                                   ▼
          ┌──────────────────┐   OTel      ┌──────────────────────┐
          │  LiteLLM Proxy   │────────────▶│ New Relic             │
          │  (localhost:4000)│             │ APM / AI Monitoring   │
          └────────┬─────────┘             └──────────────────────┘
                   ▼
                 LLM

LiteLLM Proxy の設定は前回の記事のままです。

Python エージェントの実装

処理の本体

3つのエージェントを順番に呼び、最後の校正結果を返すだけのシンプルな実装です。LLM は openai SDK で LiteLLM Proxy(OpenAI 互換)を呼びます。

app/main.py(抜粋)
async def call_llm(prompt: str, temperature: float) -> str:
    resp = await client.chat.completions.create(
        model=LLM_MODEL,  # LiteLLM 側の論理名 (gemini-flash)
        messages=[{"role": "system", "content": prompt}],
        temperature=temperature,
    )
    return resp.choices[0].message.content or ""


@app.post("/run", response_model=RunResponse, dependencies=[Depends(verify_key)],
          operation_id="runWriter", summary="下調べ→執筆→校正を実行して記事を返す")
async def run(req: RunRequest) -> RunResponse:
    research = await call_llm(RESEARCH_PROMPT.format(topic=req.topic), 0.5)
    draft = await call_llm(WRITE_PROMPT.format(topic=req.topic, research=research), 0.8)
    article = await call_llm(PROOFREAD_PROMPT.format(draft=draft), 0.3)
    return RunResponse(article=article, research=research, draft=draft)

コードの中に New Relic 用の処理は1行もありません。計装はすべて APM エージェントが自動で行います。

Dockerfile

newrelic-admin run-program で uvicorn を起動するだけで、APM エージェントがアプリに組み込まれます。

Dockerfile
FROM python:3.12-slim
WORKDIR /srv
ENV PYTHONDONTWRITEBYTECODE=1 PYTHONUNBUFFERED=1
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY app ./app
RUN useradd -r -u 1001 agent
USER agent
EXPOSE 8000
# newrelic-admin が APM エージェントを起動時に注入する (NEW_RELIC_* 環境変数で設定)
CMD ["newrelic-admin", "run-program", "uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000"]
requirements.txt
fastapi==0.115.6
uvicorn[standard]==0.34.0
openai==1.58.1
newrelic==14.3.0

docker-compose.yml

docker-compose.yml
services:
  writer-agent:
    build: .
    image: writer-agent:local
    container_name: writer-agent
    restart: unless-stopped
    ports:
      - "8100:8000"
    env_file: .env
    extra_hosts:
      - "host.docker.internal:host-gateway"

.env

APM エージェントの設定は、すべて環境変数で渡しています。newrelic.ini は使っていません。

.env
# LiteLLM Proxy (OpenAI 互換)
LLM_BASE_URL=http://host.docker.internal:4000/v1
LLM_API_KEY=sk-litellm-local-master-key
LLM_MODEL=gemini-flash
# Dify (カスタムツール) から呼ぶときの API キー
AGENT_API_KEY=change-me

# ===== New Relic APM エージェント (newrelic==14.3.0) =====
NEW_RELIC_LICENSE_KEY=your-new-relic-license-key-here
NEW_RELIC_APP_NAME=writer-agent
NEW_RELIC_DISTRIBUTED_TRACING_ENABLED=true
# AI Monitoring は 14.3.0 から既定で有効。
# プロンプト/応答の本文も送る場合のみ true にする
NEW_RELIC_AI_MONITORING_RECORD_CONTENT_ENABLED=true

NEW_RELIC_AI_MONITORING_RECORD_CONTENT_ENABLED=true にすると、プロンプトと応答の本文が New Relic に送られます。PII や機密情報が含まれる可能性があるため、組織のデータ方針を確認したうえで有効化してください。

Dify の設定

SSRF プロキシでエージェントへの通信を許可する

Dify の HTTP リクエストノードとカスタムツールは、SSRF プロキシ(squid)を経由して外部に通信します。既定ではプライベート IP 宛ての通信が拒否されるため、そのままでは host.docker.internal で動く Python エージェントに届きません。

dify/docker/envs/infrastructure/ssrf-proxy.env を作成し、host.docker.internal だけを許可します。

dify/docker/envs/infrastructure/ssrf-proxy.env
SSRF_PROXY_ALLOW_PRIVATE_DOMAINS=host.docker.internal
docker compose up -d ssrf_proxy

カスタムツールとして登録する

Dify 1.19 では、カスタムツールの登録画面が「インテグレーション」メニューの中にあります(http://localhost/integrations/tools/api)。

  1. 「カスタムツールを作成」から、以下の OpenAPI スキーマを貼り付けます。
  2. 認証方法を「API Key」、ヘッダーを Authorization、種類を Bearer にして、AGENT_API_KEY の値を設定します。
openapi.yml
openapi: 3.0.3
info:
  title: 3-Agent Writer
  version: 1.0.0
  description: テーマから 下調べ→執筆→校正 を行い記事を返す
servers:
  - url: http://host.docker.internal:8100
paths:
  /run:
    post:
      operationId: runWriter
      summary: 下調べ→執筆→校正を実行して記事を返す
      requestBody:
        required: true
        content:
          application/json:
            schema:
              type: object
              required: [topic]
              properties:
                topic:
                  type: string
                  maxLength: 256
                  description: 記事のテーマ
      responses:
        "200":
          description: OK
          content:
            application/json:
              schema:
                type: object
                properties:
                  article: {type: string, description: 校正済みの最終記事}
                  research: {type: string, description: 下調べメモ}
                  draft: {type: string, description: 執筆草稿}

Workflow は「開始(topic)→ カスタムツール runWriter → 終了」の3ノードだけです。

データを確認

Dify の UI からWorkflow をテスト実行し、New Relic でデータを確認します。
image.png

Transaction

image.png

writer-agent が APM のエンティティとして表示されます。/run のトランザクションごとに、パフォーマンスやエラーの発生状況を追うことができます。

分散トレーシング(AIトレーシング)

image.png

前回の OTel 版では、Dify と LiteLLM Proxy のトレースは別々に表示され、1本のトレースとしてはつながりませんでした。

APM エージェント版では、Python エージェントの /run トランザクションと、LiteLLM Proxy の OTel スパンが1本のトレースにつながります。

つながる理由は、LLM へのリクエストに W3C の traceparent ヘッダーが付くかどうかの違いです。

構成 LiteLLM へのリクエスト 結果
OTel 版(Dify の LLM ノード) Dify の LLM ノードは plugin_daemon 上の OpenAI-API-compatible プラグインから LiteLLM を呼びます。このプラグインはトレースの情報を引き継がないため、traceparent が付きません LiteLLM で新しいトレースが始まり、Dify 側と切れる
APM エージェント版(Python エージェント) APM エージェントが http の外部呼び出しに traceparent を自動で付けます LiteLLM が traceparent を読んで子スパンを作り、1本につながる

APM エージェントと OTel が混在していても、W3C Trace Context でつながるのがポイントです。

Dify から呼ぶエージェントを Docker で構築している場合は、APM エージェントの導入がおすすめです。
Dify の LLM ノードから LLM Proxy を直接呼ぶ構成では、トレースが Dify と LLM Proxy で途切れます。エージェントの処理を Docker のコンテナに切り出して APM エージェントを入れると、エージェントの処理と LLM Proxy の LLM 呼び出しが1本のトレースでつながります。どのエージェントのどの LLM 呼び出しで時間がかかったか、エラーになったかを、トレースから追えるようになります。

AI Monitoring

image.png

Python APM エージェント 14.3.0 以降では、追加の設定なしで AI Monitoring にデータが送られます。LLMへの呼び出しが自動で計装され、下調べ・執筆・校正の LLM 呼び出しごとに、モデル、トークン数、レイテンシを確認できます。

ai_monitoring.record_content.enabled を有効にしているので、各エージェントのプロンプトと応答の本文も AI Responses の画面で確認できます。

Security RX for Appsも使える

image.png
APM エージェントを入れると、Security RX for Apps でアプリケーションの依存ライブラリの脆弱性も確認できます。

APM エージェントは、アプリケーションが読み込んだライブラリとそのバージョンを New Relic に報告します。Security RX はこの情報から既知の脆弱性(CVE)を自動で検出するので、追加の設定やスキャナーの導入は必要ありません。

今回のPythonアプリケーションでは、例えばFastAPI、uvicorn、openai SDK などのパッケージが検出の対象になります。生成AIアプリは、LLM の SDK やフレームワークの更新が速く、依存ライブラリも増えがちです。パフォーマンスや LLM の呼び出しと同じ画面で、脆弱なライブラリを見つけられるのは APM エージェントならではの利点です。

検出した脆弱性は、CVSS の深刻度、悪用される確率(EPSS)、ランサムウェアで悪用されているかどうかをもとに、修正の優先度が付けられます。

参考ドキュメント

終わりに

ノーコードで作ったエージェントを Python で書き直しても、APM エージェントを入れるだけで、APM と AI Monitoring の両方で生成AIアプリの観測ができました。

また、APM エージェントと LiteLLM Proxy の OTel が W3C Trace Context でつながり、エージェントの処理から LLM 呼び出しまでを1本のトレースで追えるようになりました。

Dify のエージェントを Docker で構築している場合は、APM エージェントを入れることをおすすめします。LLM Proxy と分散トレーシングでつながり、Dify の LLM ノードから直接呼ぶ構成では見えなかった、エージェントの処理から LLM 呼び出しまでの流れを追えるようになります。加えて、Security RX for Applications でエージェントが使うライブラリの脆弱性まで、同じ New Relic 上で管理できます。

「自前のコードは APM エージェント、Proxy などのミドルウェアは OTel」と使い分けても、New Relic 上で一元的に分析できます。ぜひお試しください!


New Relicでは、新しい機能やその活用方法について、QiitaやXで発信しています!
無料でアカウント作成も可能なのでぜひお試しください!

New Relic株式会社のX(旧Twitter) や Qiita Organizationでは、
新機能を含む活用方法を公開していますので、ぜひフォローをお願いします。

無料のアカウントで試してみよう!
New Relic フリープランで始めるオブザーバビリティ!

3
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?