こちらのニュースを受けて動かしてみました。「アーキオン」と発音するそうです。
Arcionとは
ローコードでデータレプリケーション(複製)パイプラインを構築できるクラウドプラットフォームを提供しています。
Databricksからの接続
今回のシナリオでは、SnowflakeのテーブルをDatabricksに複製します。
Databricks Partner Connectに初回アクセスすると、データ取り込みのガイドが表示されます。パートナーでArcionを選択します。
複製先のカタログを選択します。hive_metastoreを選択します。
Arcion連携のために生成されるリソースを確認します。SQLウェアハウスやパーソナルアクセストークンなどが生成されます。
Arcionのサイトに移動します。
ユーザー情報はすでに入力されているので、サインアップします。
アクティベーションのメールが送信されるので、アクティベートします。
Arcionでの設定・操作
複製(Replication)を作成します。どこから(Source)どこに(Destination)どのように複製するのか(Replication mode)を組み立てることになります。
今回は一番簡単そうなSnapshotを選択します。リアルタイムの複製や追記モードもあるようです。
Sourceを設定します。
Snowflakeの接続設定をします。Test Connectionでエラーが出たのですが、結果的に動きました。
Snowflakeでは複製するテーブルを作成しておきます。
Destinationを設定しますが、必要な情報はすでに入力されているので、Databricksを選択するだけです。
接続確認もしておきます。
Filterを設定します。複製するテーブルを選択します。
Start Replicationをクリックします。
ダッシュボードに移動します。
RUNNING状態に移行して複製が始まります。
ログなども確認できます。
注意
DatabricksのSQLウェアハウスが起動していない場合、起動待ちのタイムアウトでエラーになることがありました。その場合には複製を再度実行してみてください。
処理が進むとProgressに水が溜まり始めます。
複製が完了しました。
Databricksで複製されたテーブルを確認できます。
初めてArcionを触ってみましたが、いろいろなシステムとの連携が容易になりそうです。