概要
Google Search Console（サーチコンソール）はGoogle提供のインターネット検索分析ツールです。 Google Search Consoleを使うことでGoogle検索での表示回数・掲載順位を把握したり、SEO上の問題点を修正してWebサイトの注目度を高めることができます。
しかし、絶えず集められるデータをその都度分析し、最新の状態に保つのには大変な工数がかかります。
そこで今回はtrocco®️というデータ統合サービスを使い、Google Search Consoleデータの抽出自動化＋DWH（データウェアハウス）への統合＋可視化までやってみようと思います。
今回、データの転送手段として使用するtrocco®️は、Google Search Consoleの他にも、様々な広告・CRM・DBなどのデータソースにも対応しています。
trocco®️の使い方まとめ（CRM・広告・データベース他）
ゴール
Google Search Consoleのデータを下のようにBigQueryに統合し
データポータルで可視化します(作成後は自動で最新値に更新することも可能です）
こんな人におすすめ
・Search ConsoleのデータをBigQueryに自動的に蓄積させたい
・Google検索での表示回数・掲載順位について自動的に分析できるようにしたい
・データの件数が多すぎてGoogle Search Consoleの標準のレポート機能では分析ができない
1. DWHと同期する手段の選定
1-1. DWHの選定
まずはデータを集約する場所である、DWH（データウェアハウス）を選定します。
- Amazon Redshift
- Google BigQuery
- MySQLやPostgreSQL
今回はGoogle BigQueryを利用することにします。
1-2. Google Search ConsoleのデータをGoogle BigQueryに転送する４つの方法
Google BigQueryにデータを集約することが決まったので、続いては転送するための手段を検討します。
- Google Search ConsoleのデータをGoogle Cloud Storage経由でBigQueryに登録する
- BigQuery データコネクタであるコネクテッド シートを使用する（ただしGsuiteのプランがEnterprise以上である必要がある）
- trocco®️を利用し、画面上の設定のみで転送する。
１は単発の分析でしたら可能ですが、集めたデータをその都度更新し続けるのは手間がかかります。２の方法ではGoogle BigQueryを操作するGoogleアカウントがデータ元となるGoogle Search Consoleに対して閲覧以上の権限を有する必要があります。
今回は自動での更新が可能で、一度Googleアカウントとの連携を行えば設定を保存して異なる分析にも使い回せる3のtrocco®️を利用してみたいと思います。
2. troccoでGoogle Search Console→Google BigQueryの転送自動化
2-0. 事前準備
データの転送のためにはtrocco®️のアカウントが必要です。
フリープランがあり、アカウントは即日発行されますので、申し込みしておいてください。
https://trocco.io/lp/inquiry_free.html
Googleアカウントに関しては、Google BigQueryとGoogleデータポータルは同じアカウントで運用したほうが接続が簡単だと思います。
2-1. 転送元・転送先を決定
trocco®️にアクセスして、ダッシュボードから「転送設定を作成」のボタンを押します。
転送元に「Google Search Console」、
転送先に「Google BigQuery」をそれぞれ選択します。
「この内容で作成」を押して次のステップに進みます。
すると、設定画面になるので、必要な情報を入力していきます。
2-2. Google Search Consoleとの連携設定
まず「接続情報を追加」ボタンを押し、trocco®️をGoogle Search Consoleと接続させます。
別のタブでGoogle Search Consoleの接続設定が開きます。
連携にはJSONキーを使用します。JSONキーについてはこちらのヘルプページを参考にしてください。
転送設定画面に戻り、「接続情報を読み込む」ボタンを押すと、▽ボタンから作成した接続情報が選択できるようになります。
2-3. Google Search Consoleからのデータ抽出設定
次に、どのようなデータを取得するかを設定していきます。
今回は分析したいサイトについての日付、検索クエリ、リンクに関する情報を取得していきます。
必要なデータを入力していきます。
○サイトURL
転送したいデータのサイトURLを指定してください。
○サーチタイプ
web, image, videoの中から選択します。
今回はwebページ(https://trocco.io/) の分析を行うので「web」を選びます。
○データ取得期間
Google Search Consoleの仕様上、取得できるデータは3日以上前のデータに限られるので要注意です。
○ディメンション
データの取得結果をグループ化するための項目です。
date, country, device, page, query, searchAppearanceを指定することができます。
2-4. 転送先Google BigQueryの設定
転送元と同様に設定していきます。Google BigQueryに関してはGoogleアカウントとの連携が必要です。（事前に転送先となるデータセットとテーブルを作成しておいてください。）
接続にはGoogleアカウント連携を利用します。
Google BigQueryを利用するGoogleアカウントの情報を入力し、Googleアカウント側の設定に従って二段階認証などを行います。
転送設定の画面に戻り、「接続情報を読み込む」ボタンを押して接続情報を呼び出します。
接続が正しく行われていればGoogle BigQuery上にあるデータセット、テーブルが読み込まれているため、転送先に使用するテーブルを選択します。（データセットは事前に作成しておく必要があります。テーブルは仮に存在しないテーブル名を指定しても転送時にそのテーブル名のテーブルを自動で作成して転送を行うため、必ずしも事前に作成しておく必要はありません。）
その他、データロケーションや転送方式を選択し、「次のステップへ」のボタンを押します。
これで入力は完了です。接続状況を確認し問題がなければ、「次のステップへ」をクリックし確認作業に進みましょう。
2-5. データのプレビュー
この画面では設定に従って転送がどのように行われるかプレビューを確認することができます。
データはきちんと取得できているようです。このままで問題ないので「確認画面へ」ボタンを押します。
なおデータが取得できなかった際には前のステップに戻って設定を見直します。また不要なデータが転送されている、転送の際にデータのマスキング処理を行いたいという場合はプレビュー画面下部からデータの加工設定が行なえます。
確認画面では転送内容がおおまかに確認できます。また既存の転送設定を編集した際には、この画面で変更内容の差分がハイライト表示されます。
問題なければ「保存して適用」ボタンを押します。
転送設定の詳細画面に遷移します。4つのタブがありますが、まず「転送設定概要」では転送設定の内容が大まかに確認できます。
2-6. スケジュール・トリガー設定
「スケジュール・トリガー設定」タブを開きます。
「スケジュール・トリガー設定」のタブを選択します。「スケジュールを追加」を押すと以下のようなモーダルが出るので、データの更新頻度や分析の頻度に応じて設定を行います。（今回は毎週月曜０時に転送を行うよう設定します。）
2-7. 通知設定
必ずしも設定する必要はありませんが、転送が失敗した際は通知がほしい、誰かが転送を実行したらその通知がほしいといった場合は「通知設定」から以下のようなモーダルで通知設定をすることができます。
通知先は事前に登録したE-mail、または指定のチャンネルに通知を行うSlack通知の２つから選択できます。
2-8. データ転送ジョブの実行
以上で設定は終わりです。以後は設定したスケジュールに従って自動で転送が行われますが、今回は手動で転送を実行します。
転送の実行に際し、その目的などをメモとして残しておくことができます。今回はそのまま「実行」を押します。
転送が実行されます。
転送が成功したようです。
3. Google BigQueryの設定
特に設定することはありません。設定で選択したテーブルにデータが転送されているので、今すぐに分析・可視化を行うことが出来ます。
データがきちんと送られているかをプレビューで確認してみます。
転送されていることが確認できました！
4. Googleデータポータルで可視化
それでは、これらのデータをGoogleデータポータルで可視化していきます。
まずはGoogle BigQueryとGoogleデータポータルの接続設定を行います。
Googleデータポータルを開いて、新規のレポートを作成します。
コネクタ（データ元）を選択する画面になります。サービスの一覧からGoogle BigQueryを選び、先程データを転送したデータセット、テーブルを順に選択することでデータを読み込むことができます。
データを読み込むとレポートの編集画面になります。画面の右側には読み込んだデータのカラムが一覧になっています。
これらのカラムをディメンション・指標に配置することでグラフを作成していきます。
今回は日別のデータを調べるのではなく、１日における検索クエリ、リンクそれぞれの割合を調べたいので円グラフを用いることにします。
まず、円グラフの項目となるディメンションに「query」を、円グラフの各項目の値となる指標には「Record Count」を選択します。そして「グラフ＞表」から「グラフ＞円」に変更します。
次に、pageに関する円グラフを作ります。
「グラフを追加」をクリックして先ほど同様、円グラフを選択し、ディメンションを「page」に変更します。
最後に、説明を加えてグラフの大きさを調整します。
まとめ
いかがでしたでしょうか。trocco®️を使うと、Google Search Consoleのデータでも自動でGoogle BigQueryにまとめていくことができるほか、100万規模の大きなデータからそうではない小さなデータまで複雑なコーディングをせずtrocco®️の画面上の設定のみでデータの転送が可能になります。
実際に弊社サービスのtrocco®️においても、マーケティングKPI等をこのような流れで収集・分析しています。
ぜひ広告データ分析の際にはご活用ください。
https://trocco.io/lp/index.html
実際に試してみたい場合は、フリープランがありますので、この機会にぜひ一度お試しください。
その他にも広告やデータベースなど、様々な分析データをETL・転送した事例をまとめました。
trocco®️の使い方まとめ（CRM・広告・データベース他）