New Relic に取り込まれたデータ量を把握したい

New Relic を使っていて、使用データ量が想定していたより大きいと感じることがありました。
何が容量を喰っているのかを調査するために公式ドキュメントをベースに調べた内容をまとめます。
New Relic ほぼ初見の人間が模索した結果です。

ドキュメント

• Data and APIs / Manage data
  • まずはここから
  • New Relic data management hub | New Relic Documentation
• Estimate Your Data Ingest Costs | New Relic
  • 使用量の見積もり手法
  • 費用算出用のスプレッドシートへのリンクも有り
• Account & user management / Billing and Usage
  • Billing and usage UI | New Relic Documentation
  • 請求周りの情報
• Data ingest governance
  • Introduction to our data ingest governance series | New Relic Documentation
  • データ取り込みの仕様や考え方など

We invite you to send all your metrics, events, logs, and traces to NRDB, including those from third-party sources.

曰く、全てのデータを取り込む事が推奨とあります。
理解はできるのですが、「でもお高いんでしょう」にならぬよう、不要なデータの取り込みは避けて行きたい所です。

Manage your data

使用量の把握のため最も頻繁に利用する機能になると思います。
ユーザメニュー ( Account settings | New Relic Documentation ) の "Manage your data" から表示できます。
ドリルダウンも出来、一通り知りたい情報が取得できると思います。

pre-built dashboards

事前定義ダッシュボードに使用量把握に役立つ物が用意されています。

導入方法

• Dashboard
  • "Add data" -> "Dashboards"
  • もしくは、 "Dashboards" -> "Create a dashboard" -> "Browse pre-built dashboards" から
  • 
• QuickStart ( Instant Observability | New Relic Instant Observability )
  • 関連する Dashboard、Alert、インストールドキュメントのリンクが含まれている
  • ソースは GitHub に公開されている
    • newrelic/newrelic-quickstarts

ドキュメントの Data ingest governance では "OMA Data Ingest Governance" について記載されています。
他に、Integration 別に着目したダッシュボードを作成できる "Infrastructure Integrations Data Analysis" も活用できそうです。

OMA Data Ingest Governance (導入例)

ドキュメント記載通り "OMA Data Ingest Governance" を導入してみます。
と言っても QuickStart の詳細画面に飛び、Install ボタンを押すだけです。

"See your data" を押下すると、導入したダッシュボードの一覧が見れます。という事なのでしょうが、空だったのはご愛嬌。

リンクの Filter が異なっているだけで、適切な Filter にすると作成されている事が確認できます。

様々なグラフが多岐に渡り設定されており、一つ一つクエリを実行して確認する手間が省けます。
複数の New Relic アカウントを利用している場合に特に役立つのではと感じました。

ユーザ定義ダッシュボード

事前定義以外にも使用量把握に役立つダッシュボードの作り方やクエリの例がドキュメントに記載されています。
料金プランにより異なってくるからなのか事前定義ダッシュボードは無いようです。

• Ingest Resource Request Per Minute
  • システム制限の把握
• NrAuditEvent event data
  • データ量には直接紐付かないが、監査イベント把握
• Query and alert on usage data | New Relic Documentation
  • データ使用量の把握
• Baseline your data ingest | New Relic Documentation
  • データタイプ毎の使用量の把握

作成例

ドキュメントの内容を基に作成してみたダッシュボードのJSONは以下になります。
Gist: NewRelic-Dashboard-ManageDataAdditionalInformation.json

__NEW_RELIC_ACCOUNT_ID__ 部分を Account ID に書き換えて、import dashboard からインポートを行えます。
Account ID は URL ?account=9999999 部分からも取得できます。

尚、Dashboard は Web UI での Export/Import が行えますが、Alert condition や policy は標準機能としては提供されていないようです。

取り込み量の最適化

使用量を把握し、意図しない増加となっている箇所を探し当てたら、データ量の調整を行うことになります。
取り込み方法別に調整手法が詳しく記載されています。

Optimize your data ingest | New Relic Documentation

余談

公式ドキュメントを読んでいると高確率で迷子になります。(個人の感想です)
リンクを踏むとギュインとスクロールする動きに違和感を持ってしまうので、多分その影響なのかと思っています。