New Relic Change Trackingは、アプリの更新などの変更履歴を、応答時間やエラー率のグラフと一緒に確認できる機能です。今回はBlue/Greenデプロイを題材に、どのタイミングを変更として記録すると調べやすいか、2通りの方法で試してみました。
New Relic Change Trackingとは?
アプリが急に遅くなったり、エラーが増えたりしたとき、「直前に何か変更した?」と確認することがありますよね。Change Trackingは、その調査に使える機能です。変更した時刻やバージョン、説明などをNew Relicへ送ると、アプリの状態と変更履歴を同じ時間軸で見られます。
グラフ上には、変更のタイミングを示す目印が表示されます。これが記事中でいう「マーカー」です。下の画面では、マーカーにカーソルを合わせると、変更時刻と「本番相当の切り替え」という説明が出ています。応答時間が変わった前後に、何をしたのかを確認できます。
変更と異常のタイミングを見比べることで、調査する変更の候補を絞れます。ただし、時刻が近いだけで原因と決まるわけではありません。そこからエラーやログを確認していきます。画面の見方は公式ドキュメントでも紹介されています。
今回の題材:Blue/Greenデプロイ
Blue/Greenデプロイは、旧バージョンを動かしたまま別の環境に新バージョンを用意し、確認後に利用者のアクセス先を切り替える更新方法です。今回の例では、利用者がアクセスしている旧版をBlue、これから公開したい新版をGreenと呼びます。
たとえば、v1.0.0からv2.0.0へ更新する流れは次のようになります。
- Blueでv1.0.0を提供する。利用者はこれまでどおり旧版を使います。
- Greenにv2.0.0を用意してテストする。問題があれば公開を中止し、Blueでの提供を続けます。
- 確認できたら、利用者のアクセス先をGreenへ切り替える。切り替え後に問題が出た場合は、Blueへ戻す操作が切り戻しです。
つまり、新版を用意した時点では、まだ利用者向けに公開したとは限りません。「テスト開始」「公開の中止」「アクセス先の切り替え」は、それぞれ別の出来事です。今回の試験では、切り替え後の「正式採用」も別の段階として記録しました。
正式リリースの時刻と、テストの履歴をどう残す?
Blue/Greenでは、テスト開始、正式採用、切り戻しなど、記録できるタイミングがいくつもあります。全部をマーカーにすると経緯を追えますが、「新版を正式採用したのはいつ?」を探すときは、テストの記録も並びます。一方、Change Trackingに正式採用だけを記録すると、公開を中止したテストの経緯はマーカーに表示されません。
そこで、記録を正式採用だけに絞ると、変更とエラーの関係を調べるうえで何が見えなくなるかを、次の2通りで比べました。マーカーの見え方に加え、中止したテストをエラーやログまで追えるかも確認しています。
- A:全段階をChange Trackingに記録する
- B:正式採用だけをChange Trackingに記録し、途中経過は独自イベントに残す
結論からいうと、正式採用だけに絞るBでは、切り戻しの記録がマーカーから抜ける点が問題でした。今後の運用では、「テスト開始」「正式採用」「ロールバック」の3種類をChange Trackingに残すのが良さそうです。正式採用だけの場合よりイベント数は増えますが、属性で区別すれば、調査したい変更を検索できます。
何を動かして比べたのか
Go製のサンプルWebアプリをローカルで動かし、Blueをv1.0.0、Greenをv2.0.0としました。New Relic Go agent v3.36.0で計測し、データ送信と画面確認には実際のNew Relicを使っています。通信先の切り替えはクライアントで模擬したもので、クラウド上のデプロイ検証ではありません。
AとBには、それぞれ同じ構成のBlueとGreenを用意しました。各方式のBlueとGreenは同じAPMエンティティへ集約し、AとBのエンティティは分けています。次の3シナリオを、それぞれBlueから始めて実行しました。
| シナリオ | 記録した段階 |
|---|---|
| テストで問題が出て中止 | テスト開始 → 中止 |
| 問題なく正式採用 | テスト開始 → 通信切り替え → 正式採用 |
| 正式採用後に問題が出て切り戻し | テスト開始 → 通信切り替え → 正式採用 → 切り戻し |
計9段階のうち、正式採用は2回です。Aは9件すべてをChange Trackingへ送り、Bは正式採用2件をChange Tracking、残る7件を独自イベントへ送りました。問題が出る場面では、Greenだけに約600msの待機とHTTP 500を発生させています。比較するのは、同じシナリオに対する記録の見え方と、失敗した試行の調べ方です。
実際の画面で確認してみる
1. A:テスト開始から切り戻しまで、同じ画面で追える
Aの[Summary]には9件のマーカーが並びました。テストを始めた時刻も、中止や切り戻しの時刻も、グラフと一緒に確認できます。一連の作業を振り返るには分かりやすい表示です。正式採用を探すときは、下のようにマーカーの説明を確認します。
段階を表す独自属性releasePhaseも付けていたので、正式採用のconfirmedだけに絞ってみました。[Change tracking]専用画面では2件に絞れましたが、今回の[Summary]では追加フィルターの候補に出ませんでした。専用画面での絞り込みと、Summary上のマーカー表示には違いがありました。
2. B:正式採用は見つけやすいが、切り戻しが見えない
同じ時間帯でも、Bのマーカーは2件だけです。正式採用したタイミングは見つけやすくなりましたが、テスト開始や切り戻しは、このグラフにマーカーとして出てきません。残る7件は独自イベントとして保存されていることを確認しました。
2件とも正式採用の記録なので、Blueへ切り戻した後も、Change Trackingの最後の記録はGreenの正式採用のままです。切り戻しは稼働バージョンを変える操作なのに、その時刻がグラフに残りません。
もし切り戻し後にエラーが増えても、エラー率の変化自体は見えます。ただし、そのグラフだけでは「切り戻しの前から起きていたのか、後に起きたのか」を確認できず、独自イベントを検索して操作時刻を補う必要があります。今回、切り戻し後のBlueではエラーは発生していませんが、変更を調べるためのマーカーとして、この抜けは避けたいところです。
3. Bでも、中止したテストのエラーは追えた
では、マーカーのないテストでエラーが出たら調べられるのでしょうか。今回は、1回の試行に共通のgroupIdを付け、途中経過のイベントと監視データを照合しました。画面にはreleasePhase=test_startedとHTTP 500があり、テスト中に起きたエラーだと分かります。
同じIDでTransaction・TransactionError・Logも取得でき、さらにtrace IDで同じリクエストの記録を照合できました。中止前のGreenテストは60リクエストがすべてエラーで、その間のBlueは72リクエストがすべて正常でした。正式採用のマーカーがなくても、失敗した試行の情報は残っていました。
この照合のために、共通IDなどをTransaction、エラー、ログへそれぞれ追加しています。Change Trackingへ属性を送るだけで、自動的に監視データへ引き継がれるわけではありません。
なお、Bでもグラフ上のエラー率や応答時間の悪化は残っています。BlueとGreenを同じAPMへ集約しているため、Greenのテスト通信も指標に含まれます。マーカーを正式採用だけに絞っても、指標が本番通信だけの値になるわけではありません。
変更履歴と監視データをどう結び付けたか
Change Trackingの記録には、NerdGraphのchangeTrackingCreateEventを使いました。groupIdに試行ID、shortDescriptionに「Greenテスト開始」などの説明を設定し、customAttributes内のreleasePhaseで段階を区別しています。今回使ったフィールドは、公式ドキュメントで確認できます。
次は、AでBlueへの切り戻しを記録したリクエストを基にした例です。公開用にアプリ名・アカウントID・試行IDを置き換え、検証管理用の属性と固定時刻を省略しています。対象を自分の検証用アプリへ変更して使う形で、実際の送信内容そのものではありません。
mutation {
changeTrackingCreateEvent(
changeTrackingEvent: {
categoryAndTypeData: {
categoryFields: { deployment: { version: "1.0.0" } }
kind: { category: "deployment", type: "basic" }
}
entitySearch: {
query: "name = 'YOUR_APP_NAME' AND accountId = '<ACCOUNT_ID>' AND domain = 'APM'"
}
groupId: "example-run-A-rollback"
shortDescription: "Blueへ切り戻し"
customAttributes: {
labRunId: "example-run"
releasePhase: "rollback"
deploymentSlot: "blue"
productionTrafficPercent: 100
}
}
dataHandlingRules: {
validationFlags: [FAIL_ON_REST_API_FAILURES]
}
) {
changeTrackingEvent {
changeTrackingId
groupId
shortDescription
customAttributes
entity { guid name }
}
messages
}
}
ここでは、versionに切り戻し先の1.0.0を指定し、独自属性releasePhase: "rollback"で操作を区別しています。groupIdはテスト開始から切り戻しまで同じ試行を結ぶID、shortDescriptionはマーカーに表示する説明です。timestampを省略すると受信時刻で記録されます。
検証ではPythonからNerdGraphへ送信し、A/B合計11件のイベントIDとmessages: []を確認しました。さらに、応答の対象エンティティ、NRDBへの保存、画面上のマーカーも照合しています。
Bの途中経過は、GoエージェントのRecordCustomEventで記録しました。こちらにも同じgroupIdとreleasePhaseを持たせています。変更イベントはPythonからNerdGraphへ、独自イベントはGoエージェントから、という2つの送信経路です。
保存確認では、Change Trackingと独自イベントをNRQLでまとめて検索しました。次は実行済みクエリから必要な列を抜粋したものです。公開用に独自イベント名をReleaseAudit、検証IDをexample-runへ置き換えています。
以下は検証当日の保存確認用です。上のmutationで新しく送ったイベントを確認する場合は、検索時間を送信時刻に合わせて変更してください。
FROM ChangeTrackingEvent, ReleaseAudit
SELECT timestamp, eventType(), groupId, releasePhase, shortDescription
WHERE labRunId = 'example-run'
SINCE '2026-11-19 07:09:00+0000'
UNTIL '2026-11-19 07:16:00+0000'
LIMIT 30
保存された件数は、Aの変更イベント9件、Bの変更イベント2件と独自イベント7件でした。Bでも履歴は検索できましたが、切り戻しと指標の変化をグラフ上で見比べるには、Change Trackingにも記録が必要です。
バージョンも付けて、Errors Inboxで調べやすくする
変更イベントが増えると、「どのバージョンを正式採用したか」「どのバージョンでエラーが出たか」を行き来して調べる場面が出てきます。そこで、Change Trackingの記録に加えて、アプリが送る監視データにもリリースバージョンを付けておくと、調査対象を絞りやすくなります。ここからは公式ドキュメントに基づく運用の補足で、今回のローカル試験では追加検証していません。
環境変数でリリースバージョンを設定する
Goエージェントでは、アプリの起動環境にNEW_RELIC_METADATA_SERVICE_VERSIONを設定します。Goエージェントの公式設定資料では、この値がイベントデータのtags.service.versionに付くと説明されています。たとえばGreenのv2.0.0を起動する設定例は次のとおりです。
export NEW_RELIC_METADATA_SERVICE_VERSION="2.0.0"
./sample-app
./sample-appは、New Relic Go agentを組み込んだアプリの実行ファイルに置き換えてください。既存のエージェント設定に、この環境変数を追加する例です。Blue側には、そのプロセスの起動環境で1.0.0を設定します。コンテナで動かす場合も、各コンテナの起動時に渡す環境変数へ指定します。起動済みプロセスには、後からシェルでexportしても反映されません。
変更イベントと監視データでバージョン表記を揃えます。Change Trackingのversionと環境変数には、Greenなら2.0.0、Blueへの切り戻しイベントとBlueの監視データなら1.0.0を指定します。CI/CDでも同じリリース番号を両方に渡すと、値のずれを防ぎやすくなります。Greenを正式採用してもコードの版が同じなら、Green側の値は変更しません。
バージョンは、そのプロセスで動いているコードの版を表します。環境変数を設定しただけで、正式採用済みの版や現在の本番通信先が確定するわけではありません。BlueとGreenが同時に動く間は、両方の版のデータが届きます。正式採用・切り戻しの記録と照合し、エラーの発生元を区別するために使います。
Errors Inboxでエラーが出た版を絞る
Errors Inboxは、同じ種類のエラーをまとめて調査・管理する画面です。バージョントラッキングの公式ドキュメントでは、バージョンでの絞り込みや、エラーグループ内のバージョン別発生状況を確認する方法が紹介されています。たとえば、Greenへの更新後にエラーが増えた場合は、次の順で調べます。
-
対象アプリと発生時間を絞り、新版のエラーを確認する。バージョンに
2.0.0を指定し、何が起きているかを見ます。 -
対象のエラーグループを開き、バージョン別の発生状況を比べる。旧版の
1.0.0でも起きていたエラーか、新版で発生したものかを確認します。 -
Change Trackingの正式採用・ロールバック時刻と照合する。切り戻し後もエラーが続く場合は、Blueの
1.0.0で起きているのか、動かしたままのGreenの2.0.0で起きているのかを確認します。 - 該当リクエストのエラー詳細やログを調べる。今回の検証のように、監視データにも付けた試行IDやtrace IDを使い、具体的な処理を追います。
修正版を出した後の確認には、[Resolve in specific version]も使えます。たとえば2.0.1で修正したエラーをその版で解決扱いにすると、同じエラーが2.0.1以上で検出された場合は未解決に戻り、再発として扱われます。この機能はセマンティックバージョニングが前提です。エラーが見えなくなっただけで解決とせず、対象の版に通信が流れていることも確認します。
最後に
今回の比較では、Aはテスト開始から切り戻しまでグラフ上で追えました。Bはマーカーが減る一方、切り戻しのタイミングが見えなくなりました。変更とエラーの前後関係を調べるなら、正式採用だけに記録を絞るBは勧めにくい、という結果です。
少し追跡するイベントは増えますが、次の3種類をChange Trackingに残し、属性で区別して追いかけるのが良さそうです。
| 追いかける変更 | 記録するタイミング |
releasePhaseの値 |
|---|---|---|
| テスト開始 | Greenでテストを始めたとき | test_started |
| 正式採用 | Greenを正式採用したとき | confirmed |
| ロールバック | 旧バージョンへ切り戻したとき | rollback |
検証では中止や通信切り替えも記録しましたが、運用案では上の3種類に絞ります。この3種類で追うのは、テスト開始・正式採用・切り戻しのタイミングです。通信切り替えと正式採用を別の操作として行う場合、切り替え時刻まではこの3種類だけでは分かりません。これは今回の結果を踏まえた提案で、3種類に絞った状態での再検証はしていません。
NerdGraphの公式ドキュメントでは、送信リクエストのcustomAttributesに独自属性を指定できます。上の例のように段階を付けておけば、NRQLでWHERE releasePhase = 'rollback'などの条件を使い、調査したい変更を取り出せます。3種類の分類と属性名はこの記事での提案であり、New Relicが定めた分類ではありません。
属性による絞り込みはChange tracking専用画面でも使えます。ただし、今回のSummaryでは同じ属性でマーカーを絞れませんでした。変更を残して必要なものを検索することと、Summaryの表示を減らすことは分けて考える必要があります。
運用では、この3種類の変更記録に加えて、環境変数でコードのバージョンを監視データへ付けることをおすすめします。「いつ正式採用・切り戻しをしたか」をChange Trackingで、「どの版でエラーが出たか」をErrors Inboxで確認できるようにしておくと、変更履歴から個別のエラー調査へ進みやすくなります。
New Relic株式会社のQiita Organizationでは、
新機能を含む活用方法を公開していますので、ぜひフォローをお願いします。






