New Relicをお使いの皆さん、データインジェストのコストが気になり、本当に必要なデータだけを取り込みたいと考えたことはありませんか？そんな時に役立つのが「New Relic Pipeline Control」です。今回はその中でも特に「Cloud Rule」に焦点を当てて、効率的なデータ管理の方法をご紹介します！
この記事の内容は、New Relic公式動画でも解説しています。ぜひそちらも参照してみてください
Pipeline Control とは？
New Relic Pipeline Control は、New Relicにデータが取り込まれる前にデータをフィルタリングし、NRDBに保存される前にデータを破棄することができる管理コンポーネントです。これにより、不要なデータの取り込みを避け、コストを最適化することができます。
Pipeline Control には、主に2つのサブコンポーネントがあります。1つは皆さんのネットワーク内でデータをフィルタリングする「Pipeline Control Gateway」、そしてもう1つが今回ご紹介する「Pipeline Control Cloud Rule」です。
Cloud Rule って何？
Pipeline Control Cloud Rule は、その名の通りNew Relicクラウド内でデータの処理を行うコンポーネントです。Gateway が皆さんのネットワーク内にセットアップを必要とするのに対し、Cloud Ruleはセットアップが一切不要という大きな利点があります。また、NRQLクエリ構文を使用してデータを処理します。これにより、柔軟かつ強力なフィルタリングロジックを実装できます。
Cloud Rule のメリットと使い方
Cloud Rule の最大のメリットは、何と言ってもセットアップ不要である点です。New Relic クラウドにデータが到達した際に、あらかじめ設定したルールに基づいて不要なデータを破棄できるため、手軽にデータインジェストを最適化できます。
例えば、「特定のログレベルのデータは不要」「開発環境からのデータは一部のみ取り込む」といったルールを NRQL で定義することで、本当に重要なデータだけを New Relic に取り込み、分析に集中できるようになります。
ただし、注意点もいくつかあります:
-
ルールは作成時以降のデータに適用される
Pipeline Control のルールは、作成された瞬間から到着するデータにのみ適用され、すでにインジェストされたデータが削除されることはありません -
ルール設定はユーザー責任となる
ルールが正確に条件を満たすデータを識別し、破棄することを確認するのは皆様の責任です
コストについて
Pipeline Control Cloud Rule の利用には費用が発生し、契約に基づいて課金されます。主な課金要因は以下の通りです（詳細は公式ドキュメントをご参照ください）。
- Advanced Compute (Advanced CCU): Cloud Rule によって破棄されたGB数
- Cloud Rule によってスキャンされたイベント（メトリクス、イベント、ログ、トレースを含む）数
- Data Ingest: Pipeline Control によって破棄されず、最終的に NRDB に保存されたすべてのデータに課金されます (GB 単位)
やってみる
1. Cloud Rule作成
実際にやってみましょう。画面はNew RelicのPipeline Controlの概要画面です。右下の[Create a rule]をクリックします。
設定画面に遷移するので、今回はGuidedで設定していきます。対象はLogsとします。
今回はenvironmentがDevとなっているログをDropしてみます。
これだけで完了です。非常に簡単ですね。先ほどのパイプライン画面にCloudルールが1つ追加されました。
2. サンプルデータの送信
テストLogを送信してみましょう。Postmanを使ってLogを送信します。作成したRuleに合致する条件のデータ(environment : Dev)も含めて送っています。
3. 結果確認
無事にログが取り込めたのでNew Relic上で確認します。Logs画面からデータを参照してみると、environmentがProductionのものしか取り込まれておらず、DevのものはDropされていることがわかります。
パイプライン画面からも、送信したLogがCloud Ruleを通ってサイズが削減されていることがわかります。
4. CCUも確認
せっかくなのでどのくらいコストがかかってるのかも確認しておきます。消費したCCUは、AdministrationのCompute Management画面から確認することができます。この画面ではPipeline Controlだけでなく、他の機能のCCU消費状況も確認することができます。Compute Management画面についてはこちらのブログも参照してみてください。
今回はPipeline Controlだけにフィルターしてみます。すると、Pipeline Controlで消費しているCCUの内訳も確認することができます。”コストについて”のセクションで解説したように、Cloud Ruleではスキャンイベント数とDropされたGBをベースにCCUが算出されますので、この画面でもその情報が表示されています。今回は少量のデータを送っただけなのでCCUはほぼ0となっていますが、本番環境で様々なデータを流してDropするとそれなりのCCUになると思います。ある程度のログを送信して試してみて、CCU消費量の傾向を確認し、本番だとどのくらいの消費量になるのかを見積もるのが良さそうです。
まとめ
New Relic Pipeline Control Cloud Rule は、New Relic クラウド内でデータのフィルタリング・破棄を可能にする強力な機能です。NRQL を活用して不要なデータを事前に除外することで、データインジェストのコストを最適化し、より効率的なデータ分析を実現できます。ぜひこの機能を活用して、New Relic 環境を最大限に活用してください！
New Relic株式会社のQiita Organizationでは、
新機能を含む活用方法を公開していますので、ぜひフォローをお願いします。
無料のアカウントで試してみよう！
New Relic フリープランで始めるオブザーバビリティ！
