はじめに

本記事は Location Tech Advent Calendar 2021 by LBMA Japan 5日目の投稿で、昨日の続きです。

BigQuer Omni は直接クエリを実行できる利便性があるとはいえ、Google Cloud Anthos Cluster から AWS S3 といった外部ストレージに保管されているデータを読み込むため、ビッグデータにおいても実用に耐えうるのかという疑問があったのでテストしてみました。

パフォーマンステスト条件

BigQuery テーブル（以下、native）と AWS S3 テーブル（以下、omni）で処理時間を比較してパフォーマンスを評価しました。

当社が保有する位置情報ビッグデータからテスト用に一部だけ切り出し、native と omni に保存しました。
用いたのは以下の２種類のデータです。

特に選択肢はありませんが、一応記載しておきます。

クエリ内容
- ログのレコードを単純にカウント（約20GB / 約1.4億件）
結論
- omni はデータ転送時間分、単純なクエリほどパフォーマンスが悪い
- omni でカウント対象列を変えてのテストも行ったが処理時間はほぼ変わらず、読み込むデータ量は変化しない（全データが読み込まれる）