こちらのProphecyとの連携手順を実際に試した内容です。
- Databricksにログインし、サイドメニューのParter Connectをクリックします。
- Prophecyを選択します。
- サービスプリンシパルとパーソナルアクセストークンが作成される旨のメッセージが表示されるので次のページをクリックします。
- Prophecyのアカウントに使用するメールアドレスを確認し、必要に応じて変更します(詳細はこちらを参照ください)。
- Prophecyのウェブサイトに移動します。
- Prophecyアカウントのパスワードを入力しConnectをクリックします。
- チュートリアルが表示されるので、これに従います。
- サンプルのパイプラインを実行することができます。
1.右上のクラスター選択画面でCreate new clusterをクリックすることで、背後でDatabricksクラスターが作成され起動されます。
- このようにDatabricksクラスターが起動します。
- クラスター起動状況もProphecyから確認することができます。
- 右下の再生ボタンでパイプラインを実行できます。しかし、ProphecyのGUIは洗練されてますね。ETLパイプラインの個々のパーツはジェムと呼ぶそうで。
なお、このサンプルパイプラインの入力ファイル、そして、出力先もDBFSになるのでDatabricksのデータ資産をローコードETLしたいという場合にも、Prophecyを活用することでクイックに実現できます。
