New Relic Autopilot を活用した、障害発生の検知から原因特定の時間を一気に数分に短縮する方法をご紹介しております。将来的には社内専用のAI Agentを作成して、自動化、AIOps実現したい！というお声をよくいただくようになりました。一方で現状の業務に工数が割かれてしまって、なかなか自動化に着手できないという方もいらっしゃるんじゃないかなと思います。
そこで、New Relic Autopilot を活用した、今からできるAIOpsの方法をご紹介できればと思います。具体的には今まで数時間から数日かかっていた、障害発生の検知から原因特定の時間を一気に数分に短縮する方法をご案内できればと思います。
Autopilotとは
New Relic Autopilotは、障害調査の自律自動化と即時復旧を実現するために、New Relic が作成した AI Agent になります。
アラートと連携した自動化ワークフローを組んでいただくことで、人間の待機時間を減少させ、リアルタイムなトラブルシューティングが実現し、以下のようなメリットがあります。
- 障害調査の自律自動化
- 具体的な改善案の提示
- 初動調査のトリアージ時間を数分に短縮
障害発生の検知から原因特定の時間の短縮
今回障害の原因追及の時間を大きく削減する構成として、New Relic の Workflow Automation を用いて各サービスを連携させ、アラート発報 → AI による原因分析 → Slackへの結果通知という一連のフロー(下記の画像)を自動で実行する手順を解説します。
以下が最終の Slack への通知アウトプット以下のイメージになります。
実際に動作している動画がこちらになります。
Autopilot のSlack通知ワークフロー設定手順
ここから具体的なsetup手順を解説させていただきます。基本的な New Relic の設定(APMなど)が完了しており、Alertがいくつか動いている前提で話を進めます。Alert設定がまだだった！という方はこちらをご覧ください。
アラートが発生した際、Autopilot が自動分析した結果をSlackへポストするまでの具体的な設定手順は3つのステップで実現できます！
Slack側でAppsを作成する手間とNew Relic側で User Keyを発行する手間があるのですが、30分ぐらいで完了する作業ではございますので、是非最後までお付き合いください！
事前準備
-
Slack側の準備
1. Slackのappを作成いただき、そのtokenを取得してください。Appの作成方法の公式ドキュメントはこちら2. Create New Appから新しいアプリを作成する。通知させたいSlack環境で Slack App を作成し、Bot Userのスコープに
chat:writeを付与してインストールします。スコープに関してはこちらにdocがございます。3. アプリを対象のSlackにインストールしてください。
4. 作成したアプリのOAuth & Permissionsからxoxbで始まるトークンを取得してください
-
New Relic側の準備
1. New Relicの画面から [API Keys] メニューを開きます。
2. Key typeにuserを指定して、新しく「User API Key」を発行・取得しておきます。
設定作業
1. Workflow Automationでワークフローの作成:
-
New Relicの左メニュー [Workflow Automation] から「Create your own」を選択します。
-
コードエディタマークをクリックし、以下のGitHub Gistの設定サンプル（YAML）をベースに転記・カスタマイズを行います。
-
ワークフロー内の Slack OAuth Token とチャンネル名(下記の画像のオレンジ色の枠)は、先ほど準備した自身の環境の値に書き換えて保存します。
⚠️ セキュリティTips
APIキーやトークン等の機密情報をコード内にハードコードするのを防ぐため、New Relicが提供する「Secrets Management Service」を活用して安全に管理することを強く推奨致します。以下のブログをご参照ください。
Workflow Automation に API キーをハードコードしていませんか？New Relic シークレット管理サービス実践ガイド
2. Alert で Destination（宛先）の作成
次に、アラート機能が先ほど作ったWorkflow Automationを呼び出せるようにするための宛先（Destination）を定義します。
- New Relicの左メニュー [Alerts & AI] ➔ [Destinations] を開きます。
- [Workflow Automation] を選択し、新規作成画面に進みます。
- 任意の接続名（Name）を入力し、事前準備で取得した
User API KeyをAPIキー欄に記入して作成（Create）します。
3. Alert の Workflow（ワークフロー）への紐付け
最後に、既存のアラート通知フローに Autopilot の処理を組み込みます。
- [Alerts & AI] ➔ [Workflows] から、対象にしたい既存のアラートワークフローを選択して編集（Edit）を開きます。
- 通知先（Notify）の選択肢から [Workflow Automation] を有効化します。
- 先ほどステップ2で作成した「Destination」と、ステップ1で作成した「Workflow Automationのテンプレート」を選択し、バージョンは最新（Latest）を指定します。
- アラートから Autopilot へ渡す変数（引数）を、
{{を用いたマクロ補完機能に従って定義し、内容を保存（Update workflow）します。
設定は以上で完了です！対象のアラートが発報されると、バックグラウンドでAutopilot が自動的に初動調査を開始し、完了次第Slackへ分析結果と改善案をポストしてくれます。
もしうまく動作しない場合は、Workflow Automation画面の Logs や Run History から実行エラーのトラブルシューティングが可能です。
自分のプロジェクト（IaC）にワークフローを取り込んでみる
この一連のアラート連携や Autopilot のワークフロー構築を、手動ではなくTerraform を使ってコード管理したいという方向けに、参考となるTerraform設定のサンプルコードも公開されています。
実際のコード例（GitHubリポジトリ）はこちらです。
👉 terraform-sample / workflow-automationの設定追加リポジトリ
自社のステージング環境や本番環境へのデプロイパイプラインにこのTerraformコードを組み込むだけで、簡単に全社的なAIOps基盤を横展開することが可能です。
終わりに
Autopilot と Workflow Automationの登場によって、人間の手を介さずにインシデントの初動調査を完了させ、Slackへ通知する仕組みを驚くほど簡単に構築できるようになりました。
AIOpsを本格的に機能させるためには、アラートが上がったその瞬間、いかに迅速にビジネス文脈やコンテキストを含めた調査を開始できるかが鍵を握ります。手動でのダッシュボード確認やログの掘り起こしに毎回時間を取られている方は、ぜひこの自動化ワークフローを活用してみてください！
さらに、自社のシステム特性に合わせて、ワークフローが参照するナレッジやルールをプロファイルとして最適化していく運用も非常におすすめです。これにより、AIがより精度の高い根本原因分析と、自社専用にチューニングされた確実な修正案を提示してくれるようになります。
アラートをトリガーにすべてのテレメトリデータへ自動アクセスできるNew Relicの強みを最大限に活かし、Autopilot のワークフローを「自社専属の自律型AI SRE」として継続的に育てていただけると、障害復旧時間（MTTR）の劇的な短縮という高いパフォーマンスを発揮できるかと思います。
💡 個別デモ・機能のご案内
今回ご紹介した「New Relic Autopilot」や「Workflow Automation」を活用した自律型AIOpsについて、「実際の動いている画面やSlack通知の様子をもっと詳しく見てみたい」「自社のシステム環境やアラート運用に合わせた具体的な構築方法を相談したい」という方向けに、個別デモや詳細な機能紹介のご案内を実施しております。
ご興味のある方は、ぜひお気軽に以下のリンクよりお問い合わせください！
New Relic株式会社のQiita Organizationでは、
新機能を含む活用方法を公開していますので、ぜひフォローをお願いします。
