目的
- BigQueryのデータをPentaho Data Integration（PDI）で取り込む
- Google アナリティクスプレミアム（GAP）によるBigQueryエクスポートを想定しているが、他の用途にも応用できる（と思う）。
参考
- BigQuery エクスポート - アナリティクス ヘルプ
- Google BigQuery - Pentaho Data Integration - Pentaho Wiki
- JDBCURL - starschema-bigquery-jdbc - JDBC URL settings - Starschema BigQuery JDBC Driver - Google Project Hosting
- Python - GAE SDKのdev_appserverで、サービスアカウントのP12キーを使う - Qiita
作業手順
GAP - BigQueryエクスポートのテスト環境を構築
下記に従ってBigQueryプロジェクトを作成し、GAのサンプルデータを準備する
認証情報の準備
Google Developer Consoleにてサービスアカウントを作成して認証ファイルをダウンロードしておく
-- JDBCURL - starschema-bigquery-jdbc - JDBC URL settings - Starschema BigQuery JDBC Driver - Google Project Hosting
PDIコミュニティ版のダウンロード
- 事前にJavaをインストールしておく。
- Data Integration | Pentaho Communityからプラットフォームにあったバージョンをダウンロードして解凍
追加クラスのインストール
ダウンロードページから次のファイルをダウンロード
bqjdbc-1.4-standalone.jar
- PDIのlibディレクトリに入れる（libextだと動かなかった）
dependencies_for_kettle.zip
- 解凍したファイルをPDIの「data-integration\libswt\win32（もしくはwin64）」に入れる
データコネクションの準備
新しいデータソースの追加
コネクションを新規作成
データベース接続の設定
| フィールド | 設定値 |
|---|---|
| 接続名 | 任意 |
| 接続タイプ | Generic database |
| Custom Connection URL | jdbc:BQDriver:<<プロジェクトIDをURLデコード>>?withServiceAccount=true |
| Custom Driver Class name | net.starschema.clouddb.jdbc.BQDriver |
| ユーザ名 | サービスアカウントのメールアドレス（クライアントIDではない） |
| パスワード | ダウンロードしたキーファイルへのパス（日本語を含まない方が吉） |
クエリーの実行
- データを取得したいSQLを指定してプレビューを実行