概要
会社でTreasureDataをデータレイクとして使っているのでGoogleCloudStorage(以降GCS)からのデータインポートを試してみます。
前回（BQからのインポート）の続きとなります。
ドキュメントを参考に用意されたデータコネクタを利用します。
準備
TreasureDataのコネクタ設定の準備として、必要なものは以下
(こちらも前回と同様ですね。)
- BigQueryのJSON keyfile
- BigQueryのプロジェクトID
GCSにインポート対象のファイルを用意
テスト用に出力したCSVファイルをおいておきます。
サービスアカウントキーを作成
前回と同じなので省略します。
TreasureDataでのコネクタ設定
カタログからGCSを選択します。
まずはJSON keyfileの入力が求められますね。
入力してContinueを押すと、認証情報が作成されます。
続いて「New Source」よりコネクタを作成します。
バケットとプレフィックスを入れて次へ
読み込めていれば、プレビューで確認できます。
以降は、他のコネクタと同様の項目ですね。
まずはインポート先の情報設定です。
今回もテスト用に新規で作ります。
続いてスケジュール設定ですが、今回は設定なしでいきます。
最後にコネクタの名前をつけて実行！
実行ログを眺めて完了を待ちます。
ファイルサイズがそれなりにあるので多少時間(450MBで４分ぐらい）かかりましたが、問題なく取り込めているようです。
お片付け
恒例のお片付けをしておきます。
TreasureData側
- 作成したテーブル
- BQ用のコネクタ
- BQ用の認証情報
GCS側
- GCSにアップしたファイル
- テスト用のサービスアカウント