はじめに

TiDBからBigQueryなどのクラウドDWHに接続したいというリクエスとは結構聞かれる質問です。
最近、tidb2dw というツールが登場してこれが手軽に出来るようになりました。
この記事ではTiDB ServerlessからBigQueryへのデータ連係を試して見ようと思います。

2023年12月現在、TiDB ServerlessはCDC機能を提供していないので、差分同期はできません。
スナップショット同期のみになります。

なお、公式blogでSnowflakeとの連携についても記載があります。

tidb2dwでBigQueryにデータを同期する

tidb2dwは、TiDBから各種クラウドDWHや、s3やgcsといったクラウドストレージへのレプリケーションを行うツールです。データエクスポートにはdumplingを、差分同期にはTiCDCを利用します。また、TiDB OSSにもTiDB Cloudにも対応しています。

今回TiDB側はお手軽なTiDB Serverlessを利用します。TiDB ServerlessはCDCを提供していないので、スナップショットのみの機能を確認していきます。

前準備

TiDB ServerlessからBigQueryにデータを同期させます。この記事では手順を説明しませんが、下記の準備をします。本記事中で利用した値を記載しておきます。

TiDB側テーブルの準備 - test.customers
Google Cloudでバケットの作成 - gs://tidb2dwtest
BigQueryでデータセットの作成 - tidb2dw

tidb2dwのビルド&インストール

tidb2dwのv0.3ではBigQueryの連携に問題があるため、最新版をビルドします

tidb2dwの最新版をgit cloneして、ビルドします。今回はMacOS上のgolang v1.21で行いました。

git clone https://github.com/pingcap-inc/tidb2dw.git
cd tidb2dw & make

ビルドが成功すると、bin/tidb2dw というコマンドができます。以降、このコマンドを利用していきます。

Google Cloud Application Default Credentialの設定

tidb2dwはBigQueryやGCSのアクセスにGoogle Cloudのクレデンシャルを必要とします。ここではADC(Application Default Credential)を利用します。
google cloud cliのインストールが必要なので、入っていなければ下記の手順に従ってインストール＆認証まで済ましておきます。

gcloud auth application-default login

実行

下記のコマンド、オプションで実行します。

bin/tidb2dw bigquery --mode snapshot-only \
-h gateway01.ap-northeast-1.prod.aws.tidbcloud.com \
-u <TIDB USER> -p <TIDB PASSWROD> -t test.customers \
--tidb.ssl-ca /etc/ssl/cert.pem \
--bq.project-id <BQ PROJECT NAME> --bq.dataset-id tidb2dw -s gs://tidb2dwtest/

利用したオプションは下記です

bigquery - サブコマンド。対象DWHを指定する。
mode - 同期モード。今回はsnapshot-onlyを指定。他のオプションはServerlessでは利用できない。
h - TiDBのホスト名を指定
u - TiDBのユーザー名を指定
p - TiDBのパスワードを指定
t - TiDBのテーブルを指定
--tidb.ssl-ca - TLSで接続する際のCA証明書を指定。今回はMacOSのものを利用。
--bq.project-id - BigQueryのプロジェクト名
--bq.dataset-id - BigQueryのデータセット名
s - 利用するGoogle Cloud Storageのパス。最後の/も必要です。

内部的にはdumpling出力したテーブル定義とCSVをBigQuery用に変換して、GCSに置き、それをBigQuery側からIMPORTするような動きをしています。ちゃんと出力できたかどうかはGCSを見ると分かります。

ロードが成功すると、その旨メッセージが出力されます。TiDB ServerlessからデータをExportする際に、いくつかシステムテーブルが出力できないというエラーが出ますが、これはTiDB Serverlessで利用しないシステムテーブルなので無視して構いません。

[2023/12/16 16:09:42.795 +09:00] [INFO] [snapshot.go:123] ["Loading snapshot data into data warehouse"] [table=test.customers] [path=test.customers.0000000010000.csv]
[2023/12/16 16:09:42.795 +09:00] [INFO] [snapshot.go:123] ["Loading snapshot data into data warehouse"] [table=test.customers] [path=test.customers.000000000.csv]
[2023/12/16 16:09:46.058 +09:00] [INFO] [snapshot.go:128] ["Successfully load snapshot data into data warehouse"] [table=test.customers] [path=test.customers.0000000010000.csv]
[2023/12/16 16:09:46.422 +09:00] [INFO] [snapshot.go:128] ["Successfully load snapshot data into data warehouse"] [table=test.customers] [path=test.customers.000000000.csv]
[2023/12/16 16:09:46.422 +09:00] [INFO] [snapshot.go:148] ["Successfully load all snapshot data into data warehouse"] [table=test.customers] [size=8908] [cost=4.239425417s]
[2023/12/16 16:09:46.871 +09:00] [INFO] [snapshot.go:156] ["Successfully upload loadinfo"] [table=test.customers] [loadinfo="Copy to data warehouse start time: 2023-12-16T16:09:42+09:00\nCopy to data warehouse end time: 2023-12-16T16:09:46+09:00\n"]

BigQuery上でもデータが確認できます。

まとめ

data2dwでTiDBからクラウドDWH（最新版ではSnowflake, BigQuery、Redshiftに対応。S3, GCSへの出力も可能）に連携することが可能です。是非利用してください。