はじめに

現在、GCPでロードバランサとCompute Engineを使ってWebサービスを公開しています。

構成
インターネット <--> Cloud Load Balancing(GCP) <--> Compute Engine(GCP)

GCPのCloud Loggingの機能を使うと、ロードバランサのアクセスログをBigQueryにリアルタイムに同期することができます。

BigQueryを使ってアクセスログを解析したいときに手軽に利用することができます。

同期の方法と、簡単な解析のサンプルを紹介します。

シンクの作成

まずは「Logging > ログルーター」からシンクを作成します。

「Cloud HTTP ロードバランサ」から同期したいロードバランサを選択します。
シンクサービスは「BigQuery」を選択して、シンクのエクスポート先のBigQueryのデータセットを選択して、シンクを作成します。

BigQueryで解析

シンクしたログは日別のテーブルに格納されます。
requests_20200421
requests_20200422
requests_20200423
：

「HTTPステータス」「ユーザーエージェント」「リファラ」「リクエストURL」「IPアドレス」「リクエストサイズ」などのカラムがあるので解析していきたいと思います

テーブル名の（your-project.your_dataset.requests_20200421）は、ご自身のアカウントのものに置き換えてください。

HTTPステータスを解析

500番台のリクエストを表示

SELECT * FROM `your-project.your_dataset.requests_20200421` WHERE httpRequest.status >= 500

リファラを解析

参照サイトの多い順に表示
ドメイン名の（example.com）は、ご自身のサイトのドメインに置き換えてください。

 SELECT
   httpRequest.referer AS referer,
   COUNT(*) AS access_count
 FROM `your-project.your_dataset.requests_20200421`
 WHERE httpRequest.referer NOT LIKE '%example.com%'
 GROUP BY referer
 ORDER BY access_count DESC

ユーザーエージェントを解析

アクセスされたユーザーエージェントの多い順に表示

 SELECT
   httpRequest.userAgent AS user_agent,
   COUNT(*) AS access_count
 FROM `your-project.your_dataset.requests_20200421`
 GROUP BY user_agent
 ORDER BY access_count DESC

おわりに

Fluentdなどでログを収集してBigQueryにインサートすることもできますが、ロードバランサのアクセスログを同期することで、手軽にBigQueryのアクセス解析が始められます。