BoxのデータをSnowflakeに自動同期し、Lookerで可視化する

概要

Boxにアップロードされたデータを分析する際、更新されるたびにデータを転送して最新の状態に保つのには手間がかかります。
そこで今回は、troccoという分析基盤向けデータ統合サービスを使い、Boxのデータ取得自動化＋DWH(データウェアハウス)への統合＋可視化までやってみようと思います。
今回、データの転送手段として採用したtroccoは、Boxの他にも、様々な広告・CRM・DBなどのデータソースにも対応しています。
troccoの使い方まとめ（CRM・広告・データベース他）

ゴール

下の画像のようなBoxのデータを

このようにSnoeflakeで統合し

Lookerで可視化します(作成後は自動で最新値に更新できます)

こんな人におすすめ

• Boxのデータをうまく活用して分析をしたいが、データの転送作業に苦戦している
• LookerやSnowflakeでBoxのデータを分析したい
• さまざまなデータの分析に時間の浪費を感じている

1. troccoでBox→Snowflakeの転送自動化

1-0. 事前準備

データの転送のためにはtroccoのアカウント・Boxのアカウントが必要です。
無料トライアルを実施しているので、事前に申し込み・登録しておいてください！
https://trocco.io/lp/index.html
（申込の際に、この記事を見た旨を記載して頂ければご案内がスムーズに行えます）

1-1. 転送元・転送先を決定

troccoにアクセスして、ダッシュボードから「転送設定を作成」のボタンを押します。

転送元に「Box」を指定し、転送先に「Snowflake」を選択して「この内容で作成」のボタンを押します。

すると、設定画面になるので、必要な情報を入力していきます。

1-2. Boxとの連携設定

あとで見たときに自分で分かるように転送設定の名前とメモを入力します。

次に「転送元Boxの設定」内の「接続情報を追加」ボタンを押します。

別のタブでBoxの接続情報の新規作成画面が開きます。
接続情報を作成するためにJSONファイルを取得する必要があります。

JSONファイルの取得方法は以下の通りです。
https://trocco.zendesk.com/hc/ja/articles/900004862986

１．Boxの開発者コンソールにログインし、マイアプリより「アプリの新規作成」を押してください。
２．カスタムアプリを作成してください。また、このとき「サーバ認証による認証」を選択頂くようにお願いします。
３．カスタムアプリ作成後に「構成」タブに移動し「公開キーの追加と管理」より「公開キー」を追加してください。
４．3より取得したJSONファイルを「カスタムアプリ設定ファイル」に登録してください。
問題がなければ保存します。転送設定画面に戻り、接続情報の「接続情報を読み込む」ボタンを押すと、先ほど作成した接続情報が選択できるようになります。

1-3. Boxからのデータ取得設定

次に、取得するデータの指定します。

• フォルダーID
  Boxの管理画面より該当のフォルダーに遷移し、URLからフォルダーIDを取得してください。

• パスプレフィックス
  取得対象のファイル名のパスプレフィックスを指定してください。(現状ですと、第1階層のファイルデータのみ取得可能です)

• 入力ファイル形式
  入力ファイル形式を指定してください。

1-4. 転送先Snowflakeの設定

転送元と同様に設定していきます。Snowflakeの接続情報を作成していきます。
転送先となるSnowflakeの接続先ホスト、ユーザー名、及びパスワードが必要です。

先ほど作成した接続情報を選択し、転送先とするウェアハウス、データベース名、スキーマ名を設定します。
転送モードに関してはreplaceを選択します。各転送モードの詳細はこちらの「転送モードについて」をご確認ください。

これで入力は完了です。「保存して自動データ設定・プレビューへ」をクリックし、確認作業に進みましょう。

1-5. データのプレビュー

少し待つと、転送元のデータがプレビューされます。ここではBoxから取り込んだデータが表示されています。

転送したいデータが取れているので、このまま「スケジュール・通知設定」に進みます。

1-6. スケジュール・通知設定

「スケジュール・トリガー設定」タブを開きます。

「スケジュールを追加」ボタンを押すと、以下のような入力欄が出てきます。ここで実行スケジュールを設定することで、転送を定期的に実行し自動化することが出来ます。

1-7. データ転送ジョブの実行

設定は以上です。最後に、手動で転送ジョブを実行し、Snowflakeにデータを送ります。
手動で実行する場合はジョブ詳細画面の「実行」ボタンを押します。

これで転送は完了です。

2. Snowflakeの設定

特に設定することありません。データが転送されているので、今すぐに分析・可視化を行うことが出来ます。
データがきちんと送られているかは「データをプレビュー」押すことで確認してみます。

転送されていることが確認できました。

3. Lookerで可視化

それでは、これらのデータをLookerで可視化していきます。

まずはSnowflakeとLookerの接続設定を行います。
管理タブを開いて「データベース」の「接続」を開きます。

接続しているデータベース一覧が表示されています。ここで「Add Connection」→「Database Connection」から接続するデータベース情報を入力します。


Snowflakeのデータベースに接続できたら、次はデータを可視化するために必要なLookMLプロジェクトを作成していきます。 開発タブを開いて「LookMLプロジェクトの管理」に移動します。

「New LookML Project」からLookMLプロジェクトを作成します。


「Create Project」を押したら、エディタでmodelとviewを定義します。 後々必要になるので、modelの中ではexploreを設定しておきましょう。 (書き方が分からない場合はLookerの公式ドキュメントを参照してください)


これで下準備が整いました。 トップページに戻って「New」からDashboardを作成します。

白紙のダッシュボードが作成されるので「box_snowflake_dash」と名前をつけます。
そして「Dashborardの編集」→「タイルの追加」を選択し、先ほどのmodel内で定義したExploreを選択します。

ディメンションとメジャーを設定し、Tileに表示したいデータをプロットします。例えば、キーワードのクリック率を分析したいときはディメンションに「年度」とメジャーに「総合」を選択します。

そのほかに必要なタイルを作成し、ダッシュボードにまとめていきます。

完成しました！

まとめ

いかがでしたでしょうか。troccoを使うとBoxのデータを、簡単にDWH(Snowflake)に貯めることが出来ます。
Snowflakeにデータを貯めると、Lookerと連携することでデータを使ってグラフを作り、可視化できます。
実際に弊社サービスのtroccoにおいても、マーケティングKPI等をこのような流れで収集・分析しています。
ぜひ広告データ分析の際にはご活用ください。
https://trocco.io/lp/index.html
実際に試してみたい場合は、無料トライアルを実施しているので、この機会にぜひ一度お試しください。(申込時に、この記事を見た旨を記載して頂ければスムーズにご案内できます)
その他にも広告やデータベースなど、様々な分析データをETL・転送した事例をまとめました。
troccoの使い方まとめ（CRM・広告・データベース他）