0
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

Google AnalyticsのデータをSnowflakeに自動同期し、Lookerで可視化する

Posted at

概要

Google Analyticsを使うことでWebサイトなどのパフォーマンスを調べたり、アクセス解析をして改善点を見つけることができます。しかし、絶えず集められるデータをその都度分析し、最新の状態に保つのにはコストがかかります。そこで今回は、troccoという分析基盤向けデータ統合サービスを使い、Google Analyticsデータの抽出自動化+DWH(データウェアハウス)への統合+可視化までやってみようと思います。

今回、データの転送手段として採用したtroccoは、Google Analyticsの他にも、様々な広告・CRM・DBなどのデータソースにも対応しています。
troccoの使い方まとめ(CRM・広告・データベース他)
anatroslow.png

ゴール

以下のようなGoogle AnalyticsのデータをSnowflakeに統合し、
anaスキーマレビュー.png

↓画像のようなグラフをを30分くらいで作り上げます(作成後は自動で最新値に更新することも可能です)
時間どこの閲覧数.png

こんな人におすすめ

・Google Analyticsに備わっている機能以外の分析をしたい
・Google Analyticsでは難しいページごとのミクロな分析を行いたい
・Google AnalyticsのデータをSnowflakeで分析したい

1. troccoでGoogle Analytics→Snowflakeの転送自動化

1-0. 事前準備

データの転送のためにはtroccoのアカウント・Googleアカウントが必要です。

無料トライアルを実施しているので、事前に申し込み・登録しておいてください!
https://trocco.io/lp/index.html
(申込の際に、この記事を見た旨を記載して頂ければご案内がスムーズに行えます)

1-1. 転送元・転送先を決定

troccoにアクセスして、ダッシュボードから「転送設定を作成」のボタンを押します。
qiita_20200827_2.png

転送元に「Google Analytics」を指定し、転送先に「Snowflake」を選択して転送設定作成ボタンを押します。
anaslow.png

設定画面になるので、必要な情報を入力していきます。

1-2. Google Analyticsとの連携設定

あとで見たときに分かるように転送設定の名前とメモを入力します。
anaslow新規.png

次に「転送元Google Analyticsの設定」内の「接続情報を追加」ボタンを押します。
anasnow接続.png

別のタブでGoogle Analyticsの接続情報の新規作成画面が開きます。
接続情報を作成するためにJSON Keyが必要になります。

新規接続.png

接続確認を行って問題がなければ保存します。
再度転送設定画面に戻り、接続情報の「接続情報を読み込む」ボタンを押すと、先ほど作成した接続情報が選択できるようになります。

anasnow接続追加.png

1-3. Google Analyticsからのデータ抽出設定

次に、どのようなデータを取得するかを設定していきます。

  • ビューID
    データを取得するアナリティクスのビューIDを入力します。
    ビューIDはGoogle Analyticsの管理ページ→ビュー設定で確認できます。

  • タイムスタンプの形式
    レポートのタイムスタンプの形式を選択します。
    なお、ここで設定した値はディメンションでは設定できません。

  • ディメンンション
    取得したいディメンションの名前を入力します。
    ディメンションは最大8個まで設定できます。
    設定できる値についてはGoogle Analytics公式をご参照ください。

  • 指標
    取得したい指標の名前を入力します。
    ディメンションは最大10個まで設定できます。
    設定できる値についてはGoogle Analytics公式をご参照ください。

スクリーンショット 2021-07-29 10.16.35.png

1-4. 転送先Snowflakeの設定

転送元と同様に設定していきます。Snowflakeの接続情報を作成していきます。
転送先となるSnowflakeの接続先ホスト、ユーザー名、及びパスワードが必要になります。

snowflake追加.png

先ほど作成した接続情報を選択し、転送先とするウェアハウス、データベース名、スキーマ名を設定します。
転送モードに関してはreplaceを選択します。各転送モードの詳細はこちらの「転送モードについて」をご確認ください。

analytics_test.png

これで入力は完了です。「保存して自動データ設定・プレビューへ」をクリックし、確認作業に進みましょう。

1-5. データのプレビュー

少し待つと、転送元のデータがプレビューされます。ここではGoogle Analyticsから取り込んだデータが表示されています。
anaスキーマレビュー.png

転送したいデータが取れているので、設定を完了します。
転送設定の一覧から作成した設定を選び「スケジュール・通知設定」に進みます。

1-6. スケジュール・通知設定

「スケジュール・トリガー設定」タブを開きます。

anasnowスケ.png

「スケジュールを追加」ボタンを押すと、以下の画像のような入力欄が出てきます。ここで実行スケジュールを設定することで、転送を定期的に実行し自動化することが出来ます。
anasnowスケ②.png

1-7. データ転送ジョブの実行

設定は以上です。最後に転送ジョブを実行し、Snowflakeにデータを送ります。
手動で実行する場合はジョブ詳細画面の「実行」ボタンを押します。
anasnow実行.png

これで転送は完了です!
##2. Snowflakeの設定
特に設定することありません。データが転送されているので、今すぐに分析・可視化を行うことが出来ます。
データがきちんと送られているかは「データをプレビュー」押すことで確認してみます。
anaslowプレビュー.png

3. Lookerで可視化

まずはSnowflakeとLookerを接続します。 管理タブを開いて「データベース」の「接続」を開きます。
looker接続.png

接続しているデータベース一覧が表示されています。ここで「Add Connection」を選択し、接続設定を行う画面が表示れるので、情報を入力していきます。
addconnection.png
anasnowconnecting.png

Snowflakeのデータベースに接続できたら、次はデータを可視化するために必要なLookMLプロジェクトを作成します。 開発タブを開いて「LookMLプロジェクトの管理」に移動します。

プロジェクトの管理.png

「New LookML Project」からLookMLプロジェクトを作成します。
newlookerml.png

anasnowproject.png

「Create Project」を押したら、エディタでmodelとviewを定義します。 後々必要になるので、modelの中ではexploreを設定しておきましょう。 (書き方が分からない場合はLookerの公式ドキュメントを参照してください)
analticssnow.png
test_explore.png

これで下準備が整いました。 トップページに戻って「New」からDashboardを作成します。
newdash.png

白紙のダッシュボードが作成されるので「analytics_snow_ダッシュボード」と名前をつけます。
そして「Dashborardの編集」→「タイルの追加」を選択し、先ほどのmodel内で定義したExploreを選択します。

testexlpore表示.png

ディメンションとメジャーを設定し、Tileに表示したいデータをプロットします。例えば、時間ごとの閲覧回数について分析したいとき、ディメンションに「日付」とメジャーに「閲覧数」を選択します。

testexlpore可視化.png

グラフのスタイルを整え、ダッシュボードにまとめます。

時間どこの閲覧数.png

完成しました!

まとめ

いかがでしたでしょうか。troccoを使うと、絶えず更新されるGoogle Analyticsのデータでも自動でSnowflakeにまとめていくことができるほか、100万規模の大きなデータからそうではない小さなデータまで複雑なコーディングをせずtroccoの画面上の設定のみでデータの転送が可能になります。
実際に弊社サービスのtroccoにおいても、マーケティングKPI等をこのような流れで収集・分析しています。
ぜひ広告データ分析の際にはご活用ください。
https://trocco.io/lp/index.html

実際に試してみたい場合は、無料トライアルを実施しているので、この機会にぜひ一度お試しください。(申込時に、この記事を見た旨を記載して頂ければスムーズにご案内することができます)

その他にも広告やデータベースなど、様々な分析データをETL・転送した事例をまとめました。
troccoの使い方まとめ(CRM・広告・データベース他)

0
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?