New Relic Advent Calendar 2022の21日目の記事です。

はじめに

New Relic には公式のIntegrationが用意されているため、簡単にPagerDutyと連携させることができます。
New RelicからPagerDutyにアラートを送り、自動診断ジョブを実行する流れを例に、設定方法を説明します。

2通りのIntegration方法

Account Integration:

PagerDutyの1つのアカウントに存在する全Serviceを、1つのNew Relic Destinationで利用できるようにする方法
Global Orchestrationは利用できず、Service Orchestrationのみ

Service Integration:

PagerDutyの特定のIntegration-KeyとNew Relic Destinationを1:1で紐付ける方法
Service Orchestrationに加えて、Global Orchestrationが利用可能
API Keyではなく、ServiceのIntegration Keyだけで利用できるため、AdminやAccount Owner等の権限がなくても利用可能

本記事ではService Integrationを利用します。

1) PagerDutyでIntegration-Keyを発行する

Global Orchestration(推奨)またはService Orchestrationを利用して、Integration-Keyを発行してください。

2) New RelicでDestinationを設定する

Alerts & AI > Destinations を開き、Add a destinationからPagerDutyを選択、Service Integrationタブを開きます。

Service name: 送り先をnew relic上で識別するためのサービス名を入力
Integration-Key: 1)で作成したIntegration-Keyを入力

3) New RelicでPolicyを設定する

Alerts & AI > Alert Policies を開き、"+ New alert policy" をクリックします。
Create alert policy画面で、Policy nameを記入し、 Incident Groupingの粒度*を選択したら、"Set up notifications" をクリックします。

*: PagerDutyのAIOps(Alert Grouping機能)を利用する場合は、粒度は細かくしておくことを推奨します。PagerDuty側でインシデント全体の状況が把握し易くなり、多数のアラートが発生した場合でも集約して管理が可能です。

Add channelでPagerDutyを選択します。
Edit notification message画面で、アラートの送付先とアラートに含めるデータを設定します。

PagerDuty destination: 2)で作成したDestinationを選択

"Send test notification"をクリックすると、PagerDutyにテストアラートを送ることができます。

PagerDuty上で、テストアラートによるインシデントが起票されました。

4) PagerDutyでEvent Orchestrationを設定する

このアラートをPagerDutyで受信した場合に、自動診断ジョブが実行されるよう、Event Orchestrationを設定します。

Services > Service Directory からアラートを受信するServiceを選択します。
Settingタブ内のEvent Managementセクションを表示します。

"View Event Orchestration Rules" をクリックします。

"+ New Rule" をクリックし、自動診断を実行するアラートの条件を指定します。

If events match certain conditions アラートに含まれるデータを条件に利用します。
event.custom_details['Alert Policy Names'] 今回はCustom Details内のAlert Policy Namesを参照します
matches 今回は完全一致を利用。他に部分一致や正規表現なども使えます。
alert policy FE - us-east-1 Alert Policy Namesの値を指定します。

"Next" をクリックし、条件に一致した際に実行するActionを指定します。

Process Automationから、別途作成しておいた自動診断のジョブを選択し、Saveをクリック

Event OrchestrationでService Ruleが作成できました。

動作確認

New Relicからテストアラートを送ると、PagerDutyでインシデントが起票され、自動診断ジョブが実行されました。

参考リソース

PagerDuty - 14日間無料トライアル