はじめ

みなさん、こんにちはM&Aクラウドの尾村です。私は一応、データエンジニアというのを名乗っているのですが、これまでCustomer Data Platformと呼ばれる製品（有名どころは、Treasure DataやKARTE）を扱ってきませんでした（そのような環境にいませんでした）。そこで今回はOSSでセルフホスト版もあるRudderStackという製品を試してみようと思います。

環境について

今回は簡単のために、無料で利用できるRudderStack Cloudを利用しました。試す上で、自社のサービスのログデータが必要になります。もちろん、今回はお試しのため、自社のアプリなんかは利用できません。そこで今回は簡単なサンプルアプリを使います。簡単に用意できる環境としてdockersamplesのvoting-appを使いました。

RudderStack cloudへのサインイン

下記のようなサインイン画面です。Googleアカウントでサインインできるのはいいですね。

サインインすると、下記のような画面になります。

SDKのインストール

公式ドキュメントのQuickstartにあるようにjavascriptのSDKをインストールする必要があります。
add　sourceを押して、JavaScriptを選択します。

Name This Sourceと出てくるので適当な名前を入れましょう。

コードのスニペットが表示されるので、コピーしましょう。
result/viewsのindex.htmlファイルのheadにスニペットを貼りましょう。

page呼び出しの埋め込み

下記のスニペットをindex.htmlのheadに埋め込みました。

    <script type="text/javascript">
      !function(){var e=window.rudderanalytics=window.rudderanalytics||[];e.methods=["load","page","track","identify","alias","group","ready","reset","getAnonymousId","setAnonymousId","getUserId","getUserTraits","getGroupId","getGroupTraits","startSession","endSession"],e.factory=function(t){return function(){e.push([t].concat(Array.prototype.slice.call(arguments)))}};for(var t=0;t<e.methods.length;t++){var r=e.methods[t];e[r]=e.factory(r)}e.loadJS=function(e,t){var r=document.createElement("script");r.type="text/javascript",r.async=!0,r.src="https://cdn.rudderlabs.com/v1.1/rudder-analytics.min.js";var a=document.getElementsByTagName("script")[0];a.parentNode.insertBefore(r,a)},e.loadJS(),
      e.load("API_KEY","DATA_PLANE_URL"),
      e.page()}();
    </script>

そのあと、http://localhost:5000/ にアクセスしたあと、RudderStackのEventsページにアクセスすると、下記のようにイベントを受け取っている確認できました。

live events

live Eventsの機能を使うとリアルタイムに送信されたデータを確認することができます。今回は、ローカルホストからアクセスしているため、全然データがありませんが、特に面白く見えませんが、referrerやscreenの情報を得得られることがわかります。

Data Extractの利用

CDPのレベルを上げたいと考えると、さまざまなデータソースからデータを取れないといけません。そこで、ETLの機能を試してみようと思いましたが、下記のようにfreeのプランだとSalesforceやHubSpot、その他のシステムにアクセスしようとするとupgradeを求められたので諦めました。

BigQueryへの書き込み

データを読み込めたので、今度はデータの書き込みを行います。サイドバーのcollectからDestinationsを選択し、New DestinationからBigQueryを選択します。Name Destinationに名前を選択し、データの取得元として、JavaScriptTestを選択します。次のページで必要項目を入力します。BigQueryに入れる前の段階でGCSを利用するため、連携用のサービスアカウントは、GCSとBigQueryの２つのロールを追加してあげる必要があります。
接続が成功すると、下記のように画面で接続できていることが確認できました。

データの変換

サイドバーのCollectにあるtransformationからデータの変換を定義できます。事前に定義されたものがあるので、今回はAllowlistを試してみました。allowlistは、eventがpageであるもののみを許可しています。Test Payloadも事前に定義されているものがあるので、importしました。（scriptの方はともかく、Payloadはどうしても複雑になるので、これはありがたいですね。）save transformationsをして保存しました。transformationsはfreeのプランだと、5つまで定義することが可能です。

/***
 * This transformation allows events to reach a downstream destination only if a specific property
 * contains certain values, e.g., allow only Product Added, or Order Completed events, or send
 * certain event types to a particular destination, or only send events that do not have
 * tracking plan to a specific destination
***/

export function transformEvent(event, metadata) {
    const property = event.event; // Edit event name
    const allowlist = ["page"]; // Edit allowlist contents
    if (!property || !allowlist.includes(property)) return;
    return event;
}

この変換を先ほどのBigQueryのDestinationに追加することができます。

Allowlistを選び、chooseを押せば追加できます。

最後に

今回はOSSのRudderStackを試してみて、CDPに入門してみました。今までCDPを使ったことがなかったため、CDPに対してイメージがわかなかったのですが、今回入門することで、ある程度、イメージが湧いてよかったかなと思います。今回利用したものは、free版であるためにどうしても制限がありましたが、うまく使えれば強力なツールになりそうだとも感じたので、中長期的に弊社のデータ基盤としてCDPがどのような役割を持てそうかを考えていければと思いました。

オープンソースのCDP:RudderStackを試してみた

はじめ