New Relic に取り込んだログを5000行以上一気に取り出したいときに活躍するのがHistorical Exportという方法です。でも取り出すための手順をもっと簡略化して、もっと手軽にExportできるようにしたいですよね？
簡単に取り出すためのサンプルスクリプトをご紹介したいと思います！
Historical Export とは
Historical Export とは New Relic に1度取り込まれたログをはじめとする様々なデータを、任意のタイミングで大量にJson形式でExportすることができる便利な機能です。
Logs画面から5000行までExportできますが、それ以上のログが必要な時もありますよね？
そんな時に活躍するのがHistorical Exportになります。
ただし便利である反面、いくつか制限事項がありますので利用の際にはご注意ください
- 実行はCoreもしくはFullplatform ユーザ
- Data Plus契約が必要
- 2億件未満のイベント結果を返す範囲であること
- 50億件未満のイベントが検索対象範囲であること
- アカウントごとに2つ以下の同時エクスポートができない
- 指定する時間は12時間以上前
また今回は例としてログをエクスポートしますが、実は一部のデータを除きログ以外のデータもエクスポート可能なので是非いろいろお試しください！
対象外データなど制約の詳細に関してはこちらのドキュメントをご参照ください
前提となる実行環境について
今回対象とするログは下記のように5000行を超えた過去の期間のログになります。
記事の中では3つの方法をご紹介しますので、環境に合わせてやりやすい方法を選択してください。
例として実行したNRQLは下記になります。
SELECT `hostname`,`message`,`log_summary` FROM Log WHERE allColumnSearch('error', insensitive: true) SINCE 1725116400000 UNTIL 1729868400000
NRQLは検索条件を設定しTimepickerで時間を設定した後に、NRQLボタンを押せば表示されますので、取り出したい条件のNRQLをゼロから作らなくても大丈夫です！
各スクリプトはMac(M1)の Visual Studio Code 上で実行し、その結果を例として添付しています。
Power Shell Core 版
元となるスクリプトの最新版はこちらをご参照ください
Power Shellが実行できる環境であれば、こちらのスクリプトを実行することが可能です。
スクリプトからの変更点は下記3点です
- 15行目 ユーザーAPIキー
- 16行目 データが照会されるアカウントID
- 18行目から 実行するNRQL
実行結果は下記の通りです。
このように実行したフォルダ上にマージされたCSVファイルがExportされます。
PowerShell Alternative using 7zip 編
元となるスクリプトの最新版はこちらをご参照ください
こちらは7zipを使って解凍する場合のスクリプトなので、もしこちらのスクリプトを使う場合はあらかじめ7zipをインストールしておいてください
7zipのダウンロードはこちら
同様にスクリプトからの変更点は下記4点です
- 16行目 Windowsで実行される場合、7zip.exeのパスに合わせて変更してください
- 18行目 MacOSで実行される場合、16行目をコメントアウトし、7zzののパスに合わせて変更してください
- 21行目 ユーザーAPIキー
- 22行目 データが照会されるアカウントID
- 24行目から 実行するNRQL
実行結果は下記の通りです。
実行したフォルダ上に同様にマージされたCSVファイルがExportされます。
Python 編
元となるスクリプトの最新版はこちらをご参照ください。
Pythonが実行できる環境で、こちらのスクリプトを実行してください。
同様にスクリプトからの変更点は下記3点です
- 8行目 ユーザーAPIキー
- 9行目 データが照会されるアカウントID
- 12行目から 実行するNRQL
実行結果は下記のとおりです。
実行したフォルダ上に同様にマージされたCSVファイルがExportされます。
スクリプトを実行すれば良いだけなので本当に簡単です！
まとめ
トラブル対応など大量のログをExportして確認する必要があるケースなど、様々なユースケースに利用することが可能なHistorical Export機能を、スクリプト実行で手軽に活用していきましょう！
無料のアカウントで試してみよう！
New Relic フリープランで始めるオブザーバビリティ！
New Relic株式会社のQiita Organizationでは、
新機能を含む活用方法を公開していますので、ぜひフォローをお願いします。