はじめに
本記事では、Databricks にサインアップし、Intelligent Data Management Cloud (IDMC) の Cloud Data Integration (CDI) で Databricks 接続を使用した簡単なマッピングを作成する手順を説明します。
- 本記事は、2025年10月時点の情報を元に作成しました。各サービスのアップデートによって、画面や設定内容が変わる可能性があります。
- 本記事では、Databricks の無償プランである Databricks Free Edition を使用します。
Databricks Free Edition
2025年6月に発表された Databricks の無料版です。機能やサポートに制限があり、非営利目的のみで利用できます。詳細は Databricks 社のサイトを参照してください。
- Databricks Free Edition
https://www.databricks.com/jp/learn/free-edition - Introducing Databricks Free Edition
https://www.databricks.com/blog/introducing-databricks-free-edition - Databricks Free Edition の制限事項
https://docs.databricks.com/aws/ja/getting-started/free-edition-limitations
CDI マッピング
ここでは次のような簡単なマッピングを作成し、マッピングタスクから実行します。
- Databricks に標準で用意されているスキーマをソースとして使用します。
- テーブルのデータをそのまま、フラットファイル接続を使用して新規テキストファイルに出力します。
手順
Databricks Free Edition のサインアップ
https://www.databricks.com/jp/learn/free-edition にアクセスし、「無料版にサインアップ」を押します。
任意の方法でサインアップします。ここでは、メールアドレスを使用します。
メールアドレスに送信された認証コードを入力します。
アカウント名や拠点を入力・選択します。
簡単なパズルを解きます。
アカウントの作成完了まで、少し待ちます。
アカウントが作成されると、ワークスペースが開きます。
右上のユーザーアイコン -> Settings -> Preferences で、表示言語を選択できます。
次回以降は、Databricks 社のサイト https://www.databricks.com/jp の画面上から「ログイン」を押すことで、ワークスペースにログインできます。
パーソナルアクセストークンの取得
右上のユーザーアイコン -> 「設定」 -> 「開発者」を開き、「アクセストークン」の「管理」を押します。
「新規トークンを作成」を押します。
コメントを入力し、存続期間 (最大 730 日) を指定して「生成」を押します。
生成されたトークンをコピーします。
SQL ウェアハウスの JDBC URL の確認
Databricks ワークスペース -> 「SQLウェアハウス」 -> 「接続の詳細」タブを開きます。「JDBCのURL」をコピーします。
カタログとデータベースの確認
ここでは、標準で用意されているサンプルのカタログ samples とデータベース bakehouse を使用します。
Databricks 接続の作成
IDMC で「管理者」を開きます。「接続」で画面右上の「新しい接続」を押します。次の値を入力または選択します。
- 接続名
- タイプ (Databricks)
- ランタイム環境
- SQL Warehouse JDBC URL (コピーした JDBC URL)
- Databricks Token (コピーしたパーソナルアクセストークン)
- Catalog Name (ここでは samples)
- Database (ここでは bakehouse)
接続テストを行い、成功することを確認します。
マッピングとマッピングタスクの作成
IDMC で CDI を開きます。新規マッピングを作成します。
ソーストランスフォーメーションで Databricks 接続を選択し、オブジェクトタイプ「単一オブジェクト」でオブジェクトを選択します。ここでは、bakehouse 内のテーブル sales_customers を選択します。
ターゲットトランスフォーメーションでフラットファイル接続を選択し、オブジェクトタイプ「単一オブジェクト」でオブジェクトとして新規ファイルを選択します。
マッピングタスクを作成します。ここでは、名前を入力してマッピングとランタイム環境を選択したのみで、オプションは変更していません。
マッピングタスクの実行
マッピングタスクを実行します。300 行のレコードが出力されました。
ターゲットトランスフォーメーションで指定したテキストファイルに、次のようなデータが出力されました。
最後に
本記事では、Databricks Free Edition をサインアップし、Databricks 接続を使用した簡単なマッピングの作成例を説明しました。接続やマッピング等のアセットは、実際のご要件に応じて構成してください。