概要
Elasticsearch（エラスティックサーチ）は索引型（インデックス型）の全文検索エンジンの一つです。索引型の全文検索エンジンの身近な例として、Google検索では検索条件となる特定の文字列をインデックスとして利用してその文字列を含むウェブページを検索し、Githubのソースコード検索では特定のコードをインデックスとして検索に利用しています。
ElasticsearchはGoogle検索のように特定の文字列をインデックスとして利用して検索しますが、Google検索がウェブページを検索するのに対してElasticsearchはドキュメントから検索を行います。イメージとしては図書館の本の検索機能が近いのではないでしょうか。そしてElasticsearchの活用により、図書館の本や新聞記事のようなデータだけではなく、企業情報やログファイルとして出力されたアクセスログやセキュリティログといった幅広いデータを高速で検索することが可能となります。
Elasticsearchには同じ提供元が開発したKibanaというツールがあり、こちらを用いてデータの可視化を行うことが可能です。ですがやはり使い慣れたBIツールで可視化を行いたい、他のデータと合わせて一つのDWH（データウェアハウス）へ統合してまとめて管理したいなどの場合にはETLツールを用いたデータ統合を行う必要があります。
そこで今回は、trocco®（トロッコ）という分析基盤向けデータ統合サービスを使い、ElasticsearchのデータをGoogle BigQueryへ統合し、KibanaではなくTableauを用いてデータの可視化をやってみます。
なお今回データの転送手段として使用するtrocco®は、Elasticsearchの他にも、様々な広告・CRM・DBなどのデータソースに対応しています。
trocco®の使い方まとめ（CRM・広告・データベース他）
ゴール
今回はElasticsearchから出力されたある検索結果をGoogle BigQueryへ転送し、そのデータをベースにこのように可視化することを目標にします。
こんな人におすすめ
- ElasticsearchのデータをKibana以外のツールで可視化、分析したい
- Elasticsearchのデータを他のDWHへ統合して活用したい
- サイトのアクセスログや、セキュリティログといったデータの分析を行いたい
1. trocco®での設定
1-0. 事前準備
データの転送にはtrocco®のアカウントが必要です。
trocco®は現在無料のトライアルを実施しています。事前にトライアルの申し込みをし、アカウントを作成しておきましょう。
https://trocco.io/lp/index.html
（トライアル申込の際にこちらの記事を見たという旨を記載していただければその後のご案内がスムーズに行えます）
またデータ元となるElasticsearchのデータや、データの転送先となるGoogle BigQueryを操作するGoogleアカウント、データの可視化を行うためのTableauのアカウントなども前もってご用意ください。
1-1. 転送元・転送先の決定
trocco®にアクセスして、ダッシュボードから「転送設定を作成」ボタンを押します。
転送元と転送先となるツールを選択する画面になります。
trocco®は多くのサービスをサポートしています。今回は転送元に「Elasticsearch」を選択し、転送先には「Google BigQuery」を選択し、「この内容で作成」ボタンを押します。
2-1. Elasticsearchからの転送設定
まずは右上の「接続情報を追加」ボタンを押します。
別のタブでElasticsearchへの接続情報を入力する画面が開きますので、ホスト名やポート、Basic認証を行う際のユーザーIDとパスワードを入力し、接続情報を保存します。
転送設定画面に戻り、「接続情報を読み込む」ボタンを押すと右の▽マークから入力した接続情報を読み込めます。
※トップページの「接続情報」タブから事前に接続設定を済ませておくことも可能です。
接続情報が設定できたら転送に必要な情報を入力していきます。検索するデータのindex名、type名を入力し、クエリを書き込みます。またデータのフィールド設定も行います。詳しくはこちらのヘルプページをご確認ください。
2-2. Google BigQueryへの転送設定
転送元のElasticsearchと同様に設定をしていきます。Google BigQueryについても「接続情報を追加」ボタンから別のタブで接続情報の設定画面を開き、Googleアカウントとの連携を行います。（事前に転送先となるデータセットとテーブルを作成しておいてください。）
※トップページの「接続情報」タブから事前に接続設定を済ませておくことも可能です。
転送先とするデータセット名、テーブルなど必要な情報を入力します。入力が済んだらページ最後の「次のSTEPへ」ボタンを押します。
2-3. データのプレビュー・詳細設定
設定にしたがって転送のレビューが作成されます。
転送元からどのようにデータが取得されるのか確認できます。特に問題なく取得できていそうなのでプレビュー画面下部の「確認画面へ」ボタンを押します。
なおプレビュー画面下部の詳細設定ではデータのマスキング処理や転送するカラムの選択などデータの加工設定ができます。
2-4. 確認・適用
転送設定の内容が確認できます。過去に作成した転送設定の内容を編集した際にはこの画面でその差分がハイライト表示され、確認をすることが可能です。
今回は設定の新規作成なので、特に確認することはありません。右下の「保存して適用」ボタンを押します。
trocco®には転送設定の変更後も過去の設定を履歴として保存し、転送設定の変更によって転送が失敗するようになった際などは過去の設定を復元する機能があります。
チームでtrocco®を共有して使用する場合などは転送設定の変更についてこの画面で簡単なメモを残しておきましょう。
2-5. スケジュール・通知設定
転送設定の詳細設定画面に移動します。まず「転送設定概要」タブでは設定の内容が大まかに確認できます。
trocco®にはデータの転送を自動で行う「スケジュール・トリガー機能」があります。「スケジュール・トリガー設定」タブを開いて定期的な転送スケジュールの設定を行いましょう。「スケジュールを追加」ボタンを押すと、設定のモーダルが出てきます。希望に応じて実行スケジュールを設定し、転送の自動化を行います。（今回は毎日０時に転送を行うよう設定しました。）
2-7. データ転送ジョブの実行
設定は以上で終わりです。データの転送は以後自動的に行われますが、右上の「実行」ボタンから手動で転送を実行します。
転送の実行に際し、その目的などをメモとして残しておくことができます。特に書くことがなければ再び「実行」ボタンを押します。
ジョブが実行されます。
しばらく待つとジョブが終了します。
3. Google BigQueryの設定
転送ジョブが成功していればGoogle BigQueryのコンソール画面から特に操作することはありません。プレビュー画面からはtrocco®の転送設定で選択したテーブルにデータがきちんと転送されていることが確認できます。
4. Tableauでの可視化
最後にTableuでのデータ可視化を行います。まずはトップ画面の「新規」
から新しいワークブックを作成しましょう。
自動的にデータの接続先を選ぶ画面になるので、コネクタからGoogle BigQueryを選択します。（ここでもGoogleアカウントとの連携設定を行います。Google BigQueryを操作するアカウントを選択して連携を行います。）
画面左側でデータを転送したプロジェクト、データセットを選び、Tableau側で読み込んだテーブルをワークブックに追加します。
新しいシートに移動します。
画面の左側にはGoogle BigQueryから読み込まれたカラム名がフィールドとして表示されています。これらを行と列に配置してグラフを作成していきます。右上の「表示設定」には予め主要なグラフが用意されており、これらのグラフを選択することでも簡単にグラフを作成することが可能です。
作成したグラフをダッシュボードに配置して完成です。
まとめ
ElasticsearchのデータをGoogle BigQueryへ統合し、Tableauで可視化してみました。またtrocco®で「スケジュール・トリガー機能」の設定を行ったため、以後はElasticsearchで集めたデータが自動的にGoogle BigQueryへ転送され、連携するTableauのダッシュボードも自動的に更新されていくという流れを作っています。
今回はごく簡単なサンプルデータを用いて転送を行いましたが、trocco®を利用することでElasticsearchの強みである高速検索によって集められた膨大なデータもごく小さなデータも自動でGoogle BigQueryに統合することができるほか、より専門的な知識が必要となるプログラミングを行うことなく画面上の設定のみでデータの転送が可能です。
実際に弊社サービスのtrocco®においても、マーケティングKPI等のデータはこのような流れで収集・分析しています。
データ分析の際にはぜひご活用ください。
https://trocco.io/lp/index.html
実際にデータの統合を試してみたい場合は、無料トライアルを実施しているので、この機会にぜひ一度お試しください。（申込時に、この記事を見たという旨を記載していただければその後のご案内がスムーズ行えます。）
その他にも広告やデータベースなど、様々な分析データをETL・転送した事例をまとめました。
trocco®の使い方まとめ（CRM・広告・データベース他）