Dify のノーコードで組んでいた記事執筆エージェントにNew Relic の Python APM エージェントを組み込み、AIトレースを観測してみます!
はじめに
前回の記事で、Dify / LiteLLM Proxy で作った生成AIアプリを、OpenTelemetry(OTel)で AIトレースを観測する方法について紹介しました。
今回はその続編です。Dify のノーコードで組んでいた記事執筆エージェントを Python(FastAPI)で書き直して Docker で動かし、New Relic の Python APM エージェントで観測します。
New Relic Python エージェントは v14.3.0 から AI Monitoring が既定で有効になりました。エージェントを入れるだけで、LLM 呼び出しのイベント・スパン・メトリクスが送られます。(※InputとOutputの内容についてはデフォルトでは送りません)
本記事では、この APM エージェント版の構成と設定、そして OTel 版との違いとして分かった 分散トレーシングのつながり方 を紹介します。
試した環境について
前回と同じ、3つのエージェントを順番に通す記事執筆エージェントです。
| エージェント | 役割 |
|---|---|
| 下調べエージェント | 与えられたテーマについて、記事を書くために必要な事実・論点・背景・具体例を箇条書きで整理する。 |
| 執筆エージェント | リサーチメモをもとに、読みやすい記事を日本語で執筆する。 |
| 校正エージェント | 執筆された記事を推敲し、完成版を出力する。 |
前回は Dify の Workflow の中に3つの LLM ノードを並べていました。今回はこの3段の処理を Python のコードで実装し、Dify からは カスタムツール として HTTP で呼び出します。
ユーザー入力
│
▼
┌──────────── Dify (Workflow) ────────────┐
│ 開始 → カスタムツール(runWriter) → 終了 │
└──────────────────┬──────────────────────┘
│ HTTP (SSRF プロキシ経由)
▼
┌──────── writer-agent (Docker / Python) ────────┐
│ FastAPI POST /run │
│ 下調べ → 執筆 → 校正 (openai SDK) │
│ New Relic Python エージェント 14.3.0 │──┐ APM / AI Monitoring
└──────────────────┬──────────────────────────────┘ │
│ OpenAI 互換 API (traceparent 付き)│
▼ ▼
┌──────────────────┐ OTel ┌──────────────────────┐
│ LiteLLM Proxy │────────────▶│ New Relic │
│ (localhost:4000)│ │ APM / AI Monitoring │
└────────┬─────────┘ └──────────────────────┘
▼
LLM
LiteLLM Proxy の設定は前回の記事のままです。
Python エージェントの実装
処理の本体
3つのエージェントを順番に呼び、最後の校正結果を返すだけのシンプルな実装です。LLM は openai SDK で LiteLLM Proxy(OpenAI 互換)を呼びます。
async def call_llm(prompt: str, temperature: float) -> str:
resp = await client.chat.completions.create(
model=LLM_MODEL, # LiteLLM 側の論理名 (gemini-flash)
messages=[{"role": "system", "content": prompt}],
temperature=temperature,
)
return resp.choices[0].message.content or ""
@app.post("/run", response_model=RunResponse, dependencies=[Depends(verify_key)],
operation_id="runWriter", summary="下調べ→執筆→校正を実行して記事を返す")
async def run(req: RunRequest) -> RunResponse:
research = await call_llm(RESEARCH_PROMPT.format(topic=req.topic), 0.5)
draft = await call_llm(WRITE_PROMPT.format(topic=req.topic, research=research), 0.8)
article = await call_llm(PROOFREAD_PROMPT.format(draft=draft), 0.3)
return RunResponse(article=article, research=research, draft=draft)
コードの中に New Relic 用の処理は1行もありません。計装はすべて APM エージェントが自動で行います。
Dockerfile
newrelic-admin run-program で uvicorn を起動するだけで、APM エージェントがアプリに組み込まれます。
FROM python:3.12-slim
WORKDIR /srv
ENV PYTHONDONTWRITEBYTECODE=1 PYTHONUNBUFFERED=1
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY app ./app
RUN useradd -r -u 1001 agent
USER agent
EXPOSE 8000
# newrelic-admin が APM エージェントを起動時に注入する (NEW_RELIC_* 環境変数で設定)
CMD ["newrelic-admin", "run-program", "uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000"]
fastapi==0.115.6
uvicorn[standard]==0.34.0
openai==1.58.1
newrelic==14.3.0
docker-compose.yml
services:
writer-agent:
build: .
image: writer-agent:local
container_name: writer-agent
restart: unless-stopped
ports:
- "8100:8000"
env_file: .env
extra_hosts:
- "host.docker.internal:host-gateway"
.env
APM エージェントの設定は、すべて環境変数で渡しています。newrelic.ini は使っていません。
# LiteLLM Proxy (OpenAI 互換)
LLM_BASE_URL=http://host.docker.internal:4000/v1
LLM_API_KEY=sk-litellm-local-master-key
LLM_MODEL=gemini-flash
# Dify (カスタムツール) から呼ぶときの API キー
AGENT_API_KEY=change-me
# ===== New Relic APM エージェント (newrelic==14.3.0) =====
NEW_RELIC_LICENSE_KEY=your-new-relic-license-key-here
NEW_RELIC_APP_NAME=writer-agent
NEW_RELIC_DISTRIBUTED_TRACING_ENABLED=true
# AI Monitoring は 14.3.0 から既定で有効。
# プロンプト/応答の本文も送る場合のみ true にする
NEW_RELIC_AI_MONITORING_RECORD_CONTENT_ENABLED=true
NEW_RELIC_AI_MONITORING_RECORD_CONTENT_ENABLED=true にすると、プロンプトと応答の本文が New Relic に送られます。PII や機密情報が含まれる可能性があるため、組織のデータ方針を確認したうえで有効化してください。
Dify の設定
SSRF プロキシでエージェントへの通信を許可する
Dify の HTTP リクエストノードとカスタムツールは、SSRF プロキシ(squid)を経由して外部に通信します。既定ではプライベート IP 宛ての通信が拒否されるため、そのままでは host.docker.internal で動く Python エージェントに届きません。
dify/docker/envs/infrastructure/ssrf-proxy.env を作成し、host.docker.internal だけを許可します。
SSRF_PROXY_ALLOW_PRIVATE_DOMAINS=host.docker.internal
docker compose up -d ssrf_proxy
カスタムツールとして登録する
Dify 1.19 では、カスタムツールの登録画面が「インテグレーション」メニューの中にあります(http://localhost/integrations/tools/api)。
- 「カスタムツールを作成」から、以下の OpenAPI スキーマを貼り付けます。
- 認証方法を「API Key」、ヘッダーを
Authorization、種類をBearerにして、AGENT_API_KEYの値を設定します。
openapi: 3.0.3
info:
title: 3-Agent Writer
version: 1.0.0
description: テーマから 下調べ→執筆→校正 を行い記事を返す
servers:
- url: http://host.docker.internal:8100
paths:
/run:
post:
operationId: runWriter
summary: 下調べ→執筆→校正を実行して記事を返す
requestBody:
required: true
content:
application/json:
schema:
type: object
required: [topic]
properties:
topic:
type: string
maxLength: 256
description: 記事のテーマ
responses:
"200":
description: OK
content:
application/json:
schema:
type: object
properties:
article: {type: string, description: 校正済みの最終記事}
research: {type: string, description: 下調べメモ}
draft: {type: string, description: 執筆草稿}
Workflow は「開始(topic)→ カスタムツール runWriter → 終了」の3ノードだけです。
データを確認
Dify の UI からWorkflow をテスト実行し、New Relic でデータを確認します。

Transaction
writer-agent が APM のエンティティとして表示されます。/run のトランザクションごとに、パフォーマンスやエラーの発生状況を追うことができます。
分散トレーシング(AIトレーシング)
前回の OTel 版では、Dify と LiteLLM Proxy のトレースは別々に表示され、1本のトレースとしてはつながりませんでした。
APM エージェント版では、Python エージェントの /run トランザクションと、LiteLLM Proxy の OTel スパンが1本のトレースにつながります。
つながる理由は、LLM へのリクエストに W3C の traceparent ヘッダーが付くかどうかの違いです。
| 構成 | LiteLLM へのリクエスト | 結果 |
|---|---|---|
| OTel 版(Dify の LLM ノード) | Dify の LLM ノードは plugin_daemon 上の OpenAI-API-compatible プラグインから LiteLLM を呼びます。このプラグインはトレースの情報を引き継がないため、traceparent が付きません |
LiteLLM で新しいトレースが始まり、Dify 側と切れる |
| APM エージェント版(Python エージェント) | APM エージェントが http の外部呼び出しに traceparent を自動で付けます |
LiteLLM が traceparent を読んで子スパンを作り、1本につながる |
APM エージェントと OTel が混在していても、W3C Trace Context でつながるのがポイントです。
Dify から呼ぶエージェントを Docker で構築している場合は、APM エージェントの導入がおすすめです。
Dify の LLM ノードから LLM Proxy を直接呼ぶ構成では、トレースが Dify と LLM Proxy で途切れます。エージェントの処理を Docker のコンテナに切り出して APM エージェントを入れると、エージェントの処理と LLM Proxy の LLM 呼び出しが1本のトレースでつながります。どのエージェントのどの LLM 呼び出しで時間がかかったか、エラーになったかを、トレースから追えるようになります。
AI Monitoring
Python APM エージェント 14.3.0 以降では、追加の設定なしで AI Monitoring にデータが送られます。LLMへの呼び出しが自動で計装され、下調べ・執筆・校正の LLM 呼び出しごとに、モデル、トークン数、レイテンシを確認できます。
ai_monitoring.record_content.enabled を有効にしているので、各エージェントのプロンプトと応答の本文も AI Responses の画面で確認できます。
Security RX for Appsも使える

APM エージェントを入れると、Security RX for Apps でアプリケーションの依存ライブラリの脆弱性も確認できます。
APM エージェントは、アプリケーションが読み込んだライブラリとそのバージョンを New Relic に報告します。Security RX はこの情報から既知の脆弱性(CVE)を自動で検出するので、追加の設定やスキャナーの導入は必要ありません。
今回のPythonアプリケーションでは、例えばFastAPI、uvicorn、openai SDK などのパッケージが検出の対象になります。生成AIアプリは、LLM の SDK やフレームワークの更新が速く、依存ライブラリも増えがちです。パフォーマンスや LLM の呼び出しと同じ画面で、脆弱なライブラリを見つけられるのは APM エージェントならではの利点です。
検出した脆弱性は、CVSS の深刻度、悪用される確率(EPSS)、ランサムウェアで悪用されているかどうかをもとに、修正の優先度が付けられます。
参考ドキュメント
終わりに
ノーコードで作ったエージェントを Python で書き直しても、APM エージェントを入れるだけで、APM と AI Monitoring の両方で生成AIアプリの観測ができました。
また、APM エージェントと LiteLLM Proxy の OTel が W3C Trace Context でつながり、エージェントの処理から LLM 呼び出しまでを1本のトレースで追えるようになりました。
Dify のエージェントを Docker で構築している場合は、APM エージェントを入れることをおすすめします。LLM Proxy と分散トレーシングでつながり、Dify の LLM ノードから直接呼ぶ構成では見えなかった、エージェントの処理から LLM 呼び出しまでの流れを追えるようになります。加えて、Security RX for Applications でエージェントが使うライブラリの脆弱性まで、同じ New Relic 上で管理できます。
「自前のコードは APM エージェント、Proxy などのミドルウェアは OTel」と使い分けても、New Relic 上で一元的に分析できます。ぜひお試しください!
New Relicでは、新しい機能やその活用方法について、QiitaやXで発信しています!
無料でアカウント作成も可能なのでぜひお試しください!
New Relic株式会社のX(旧Twitter) や Qiita Organizationでは、
新機能を含む活用方法を公開していますので、ぜひフォローをお願いします。
無料のアカウントで試してみよう!
New Relic フリープランで始めるオブザーバビリティ!



