TROCCO が Databricks からのデータ読み込みをサポートしたので Salesforce へリバース ETL してみた

概要

TROCCO が転送元 - Databricks（Databricks からの読み込み）機能をリリースしたという噂を聞いたため、検証してみました。2024年7月10日19時00分時点ではリリースノートへの記載は確認ができませんでしたが、転送元 - Databricks機能のドキュメントを確認できました。今回の記事では、 Databricks -> TROCCO -> Salesforce を検証します。

引用元：リリースノート一覧 (trocco.io)

引用元：転送元 - Databricks (trocco.io)

Salesforce -> TROCCO -> Databricks の検証記事を投稿したところ、多くの反響をいただきました。その際に、送元 - Databricks機能がないことに違和感を覚えましたが、TROCCO が実装した機能を迅速にリリースしていくスピード感には感服しました。

引用元：TROCCO が Databricks への書き込みをサポートしたので Salesforce のデータを転送してみた #データエンジニアリング - Qiita

TROCCO の接続情報の画面にて下記のように表示されているように、Salesforce へ書き込み（転送先Salesforceの利用）を実施する場合には認証方法が指定されていることに注意してください。TROCCO のドキュメントにて親切な手順が記載されており、とても参考になます。

転送先Salesforce、転送元Salesforceレポート、転送元Tableau CRM Analyticsをご利用の場合、「ユーザー・パスワード認証」を指定してください。

引用元：Salesforceの接続情報 (trocco.io)

環境準備

前回投稿した記事を参考に環境準備をしてください。私は前回構築した環境を利用しました。

引用元：TROCCO が Databricks への書き込みをサポートしたので Salesforce のデータを転送してみた #データエンジニアリング - Qiita

Salesforce -> TROCCO -> Databricks のデータ連携検証

1. Databricks の事前準備

1-1. Databrics にログインし、 SQL Editor タブにて Databricks 上に書き込み先のカタログとスキーマを作成

CREATE CATALOG IF NOT EXISTS trocco_test_01;
CREATE SCHEMA IF NOT EXISTS trocco_test_01.shcmea_01;

1-2. Databricks 上で Salesforce に連携するテーブルの作成とデータ挿入を実施

CREATE OR REPLACE TABLE trocco_test_01.shcmea_01.TO_SALESFORCE_TABLE_01
AS
SELECT
    'TROCCO_01' AS Name
UNION ALL
SELECT
    'TROCCO_02' AS Name
UNION ALL
SELECT
    'TROCCO_03' AS Name

;

SELECT
    NAME
    FROM
        trocco_test_01.shcmea_01.TO_SALESFORCE_TABLE_01;

1-3. Databricks にて SQL Warehouses-> Stater Warehouse -> Connection datailsを選択して、 TROCCO に登録するための Server hostnameとHTTP pathの接続情報を取得

1-4. Databricks のドキュメントを参考に Databricks アクセストークンを取得

• 個人用アクセストークンを監視および管理します | Databricks on AWS

2. Salesforce にてセキュリティトークンを取得

2-1. Salesforce にログイン後、右上のSetting（設定）を選択

2-2. My Personal Information（私の個人情報） -> Reset My Security Token（私のセキュリティトークンのリセット）をクリック後にReset Security Tokenを選択

2-3. ユーザーアカウントのメールアドレス宛にセキュリティトークンを送付した旨のメッセージを確認

We sent a new security token to the email address for your account, {mail_address}

2-4. メールにて届いた Security token の値を記録

3. TROCCO にて Databricks から Salesforce へ書き込み

3-1. TROCCO にログイン後に Databricks の接続情報を作成して保存ボタンを選択

3-2. TROCCO にて Salesforce の接続情報を入力後に保存ボタンを選択

3-3. Databricks のテーブルを Salesforce の Account オブジェクトを に書き込むデータ転送設定を作成

3-4. 作成したデータ転送を実施

3-5. 転送ジョブが正常終了することを確認

4. Salesforce にてデータを確認

4-1. Salesforce にて Account のレポートにてデータが書きこまれていることを確認