0. はじめに

Google Analyticsで取得したデータをその他の分析/監視データとまとめて見たいな…と思い、New RelicのInsightsを使って、統合ダッシュボード的なものを作ってみました。

New RelicのInsightsはダッシュボードサービスで、New RelicのAPM( アプリケーション監視サービス )やInfrastructure( サーバ監視サービス )などの監視メトリクスはもちろん、外部サービスのデータを取り込み&表示することができます。たとえばこんな感じに。

BIデータなどの表示やアプリケーション、インフラの監視データを一枚画にまとめて、ビジネス全体の統合ダッシュボードとして使用できるサービス = New Relic Insights というわけです。

この記事では、Google Analyticsのデータ & アプリの分析データ & AWSサービスの監視データを統合したダッシュボードの作成手順を紹介したいと思います。New Relicアカウントをお持ちでない方はこちらよりどうぞ。

1. Google Analytics APIの設定

はじめにGoogle Analytics APIを叩くための設定を行います。API権限の設定やライブラリのインストールなどなど。各手順は下記のとおりです。

①. Google Analytics APIの権限設定

Google Analytics APIを初めて使用する場合は、Google API ConsoleからGoogle Analytics APIを有効化する必要があります。

次に認証情報を設定をします。外部からAPIを叩くために使用するサービスアカウントを作成します。

下記項目をそれぞれ入力し、「作成」ボタンを押すと、鍵ファイルがダウンロードされます。
この鍵ファイル(~~~.p12)は後ほど使用します。また、サービスアカウントIDも後ほど使用するため、控えておきます。

アカウント名(任意の値を入力)
サービスアカウントID(任意の値を入力)
秘密鍵の作成(タイプはP12を選択)
役割(当該サービスアカウントの権限範囲を指定)

②. Google Analytics側の権限設定

次にGoogle Analytics側で先ほど作成したサービスアカウントに対して、権限を付与します。メニューの管理を選択し、ユーザ管理画面に移行します。

権限を付与するユーザーとして、先ほどコピーしたサービスアカウントIDを入力します。権限は『表示と分析』のまま、追加を押下します。

③. Google クライアントライブラリのインストール

最後にGoogleが提供するクライアントライブラリをインストールして、Google AnalyticsのAPI設定は完了です。今回はPythonを用いてAPIを叩きますので、Python用のクライアントライブラリをpipでインストールします。

# sudo pip install --upgrade google-api-python-client

④. HelloAnalyticsで試し打ち

Google Analyticsが提供するサンプルプログラム HelloAnalytics.pyを使用して、Google Analytics APIの試し打ちを行います。
まず、当該プログラムと同じディレクトリに1で保存した鍵ファイル(~~~.p12)を設置します。
次にHelloAnalytics.pyにサービスアカウント情報及び鍵ファイルの情報を記載します。
97行目service_account_emailには自身のサービスアカウントID、98行目key_file_locationには鍵ファイルのファイル名を入力します。

HelloAnalytics.py

~~~略~~~

def main():
  # Define the auth scopes to request.
  scope = ['https://www.googleapis.com/auth/analytics.readonly']

  # Use the developer console and replace the values with your
  # service account email and relative location of your key file.
  service_account_email = '<Replace with your service account email address.>'
  key_file_location = '<Replace with /path/to/generated/client_secrets.p12>'

修正が完了したら、HelloAnalytics.pyを試し打ちします。1週間の総合セッション数が帰ってきたら成功です。

# python HelloAnalytics.py
View (Profile): すべてのウェブサイトのデータ
Total Sessions: 155

2. New Relic Insightsの設定

つぎにNew Relic Insightsの設定を行います。Insightsにはカスタムイベントと呼ばれる機能があり、自身で監視イベントを定義することができます。カスタムイベントとしてInsightsにデータを転送するには、API経由で監視データをInsightsに渡してあげる必要があります。

①. API Keyの取得

InsightsにAPI経由でデータを転送するにはAPI Keyが必要なので、まずこれを作成します。
New Relic InsightsのメニューManage Dataを選択します。

上部メニューからAPI Keysを選択し、Insert Keysを押下します。

Note欄に用途のメモなどを記載し、Save your notesを押下します。

②. Insightsへのデータ試し打ち

InsightsのManage data、API Keys画面にテスト用のサンプルデータ&コマンドが用意されています。この情報を使って、試し打ちを行います。

まず、サンプルデータ example_events.json を作成します。このサンプルデータでは、『Purchase』というイベントデータを模擬しており、amountとaccountのデータが紐づいています。

example_events.json

[
   {
      "eventType":"Purchase",
      "account":3,
      "amount":259.54
   },
   {
      "eventType":"Purchase",
      "account":5,
      "amount":12309,
      "product":"Super expensive thing"
   }
]

作成したexample_events.jsonをもとに、API経由でInsightsへデータを送信します。successが帰ってきたらデータ送信成功です。

# cat example_events.json | curl -d @- -X POST \
> -H "Content-Type: application/json" \
> -H "X-Insert-Key: <YOUR_KEY_HERE>" \
> https://insights-collector.newrelic.com/v1/accounts/<Your_NRID_Here>/events
{"success":true}

③. 送信したデータをInsight上で表示してみる

送信したデータはInsightsのData Explorerにて確認できます。Data ExplorerはInsightsに投入したデータをGUIでグラフ整形できるツールです。先ほど送信したイベント『Purchase』を選択します。

すると、先ほど送信したデータがグラフになって表示されます。

3. Google AnalyticsのデータをNew Relic Insightsへ投入

さて、それでは実際にGoogle AnalyticsのデータをInsightsへ投入したいと思います。
データを投入するには、Google Analyticsデータをjson化してから投入する必要があります。

①. Google Analyticsデータをjsonファイルに書き出す

Insightsにデータを投入するには、データをjson形式で記述する必要があります。

そこで、1で紹介したGoogle Analyticsの総合セッション数を取得するプログラム(HelloAnalytics.py)を一部修正し、Google Analyticsから取得したデータをjson形式でファイルに書き出せるようにしたいと思います。修正箇所は下記の通りです。
jsonライブラリのインポート & 関数print_resultsのコードを修正します。

HelloAnalytics_re.py

"""A simple example of how to access the Google Analytics API."""

import argparse

from apiclient.discovery import build
from oauth2client.service_account import ServiceAccountCredentials

import httplib2
from oauth2client import client
from oauth2client import file
from oauth2client import tools

import json """jsonライブラリを追加でimport"""


~~~略~~~


"""total_session.jsonファイルに結果が出力されるよう、print_resultsを修正"""

def print_results(results):
  # Print data nicely for the user.
  if results:
        ins = {}
        lst = []
        ins = {"eventType": "Total Sessions",
               "name": "sessions",
               "session": int(results.get('rows')[0][0])
              }
        lst.append( ins )
        encode_json_data = json.dumps(lst, sort_keys=True, indent=2)
        f = open('total_session.json', 'w')
        f.writelines(encode_json_data)
        f.close()
        print encode_json_data
  else:
    print 'No results found'

これを実行するとtotal_session.jsonというjsonファイルが作成されます。このファイルには、Insightsに適応した形式で、Google Analyticsから取得したデータが書き込まれています。

# python HelloAnalytics_re.py
[
  {
    "eventType": "Total Sessions",
    "name": "sessions",
    "session": 168
  }
]
# less total_session.json
[
  {
    "eventType": "Total Sessions",
    "name": "sessions",
    "session": 168
  }
]

②. 作成したデータをInsightsへ送る

2.で紹介したコマンドにて、total_session.jsonに書き込まれたデータをInsightsへ送信します。
successが返ってきたら成功です。

# cat total_session.json | curl -d @- -X POST \
> -H "Content-Type: application/json" \
> -H "X-Insert-Key: <YOUR_KEY_HERE>" \
> https://insights-collector.newrelic.com/v1/accounts/<Your_NRID_Here>/events
{"success":true}

New Relic InsightsのData Explorerで送信したデータを確認します。
Data Explorerでは画面上の各項目を選択していくことで、簡単にグラフを整形することができます。
今回はセッション数の平均値を示すグラフを表示しています。

また、SQL文と非常に似たNRQL文を用いてグラフ整形することも可能です。
NRQL文の方が指定できる関数も多いため、SQLに慣れた方ならこちらでグラフ整形するのが良いかもしれません。
試しに、データの最大値を示す関数(Max)を用いたNRQL文をInsights画面上部に入力するとこんな感じに表示されます。

SELECT max(session) FROM `Total Sessions` SINCE 30 MINUTES AGO COMPARE WITH 1 WEEK AGO

4. 統合ダッシュボードを作ってみる

3の手順により、Insights上にGoogle Analyticsのデータが格納されましたので、APMやInfrastructureの監視データと組み合わせた統合ダッシュボードを作りたいと思います。

①. ダッシュボード本体の作成

まず、ダッシュボード本体を作成します。InsightsのAll dashboards右の＋ボタンを押下します。

ダッシュボード名を入力し、Createを押下します。

これでダッシュボードの大枠は完成です。アイコンを変えた場合はダッシュボード名横で好みのアイコンに変更できます。

②. ダッシュボードにGoogle Analyticsのデータを追加

作成したダッシュボードにデータを追加するには、Data Explorerから追加する方法、NRQL文を叩いて追加する方法、他のダッシュボードからコピーして追加する方法、またNew Relicの各監視サービスから追加する方法などがあります。

まず、3で追加したGoogle Analyticsのデータをダッシュボードに表示させたいと思います。
ダッシュボード画面上部のNRQL文入力欄に、先ほど叩いたNRQL文を入力し、Runを実行します。
TitleとNoteを入力し、Add to dashboardを押下します。

ダッシュボードにMax Sessionのカウントが追加されました！

③. ダッシュボードにAPMのデータを追加

次にAPMで取得しているTransaction Response Timeの平均データをダッシュボードに表示させたいと思います。
追加はAPMの監視画面から行います。
各グラフをマウスオーバーすると、Add to an Insights dashboardと表示されるので、こちらをクリック。
ダッシュボード名を選択し、チェックマークを押下します。

Insightsのダッシュボード画面で見てみるとAPM画面で表示されていたTransaction Response Timeの平均データが追加されました！

③. ダッシュボードにAWSのデータを追加

InfrastructureのAWS Integrationを行うと、自動で各AWSサービスの監視データが取得され、自動でダッシュボードがInsightsに追加されます。InfrastructureのAWS Integration方法はこちらに記載しております。

今回はEC2のダッシュボードからEC2のeventデータをコピーして追加します。

Insights画面のAll dashboardsをクリックし、一覧の中から『AWS EC2_<アカウント名>』のダッシュボードを選択します。

次に右端のEC2 Eventsにマウスオーバーし、Copy chartをクリックします。

Copy this chart to a dashboardが表示されたら、先ほど作成したダッシュボードを選択し、チェックボタンを押下します。

Insightsのダッシュボード画面で見てみるとEC2のステータス情報が追加されました！

これで簡易ではありますが、アプリケーションからAWSサービス、Google Analyticsの情報まで表示可能な統合ダッシュボードができました。

5. さいごに

今回作成したのは簡易なダッシュボードですが、Google Analytics API経由で他にもさまざまな情報を取り出すことができます。
またその他外部サービスのデータについても同じロジックでInsightsに投げ込むことが可能です。

記載の通り、Insightsはグラフの整形やデータの取り組みも非常に簡単に行えるので、アプリケーションやサーバの監視情報、BIデータなどをまとめた統合ダッシュボードをお探しの方は是非使ってみてください。

Google AnalyticsのデータをNew Relic Insightsに表示してみる