Databricks Partner Connect guide | Databricks on AWS [2021/11/17時点]の翻訳です。
Databricks Partner Connectパートナーのリストに直接移動できます。
Partner Connectを用いることで、お使いのDatabricksワークスペースのDatabricks SQLエンドポイント、DatabricksクラスターとDatabricks Partner Connectパートナーとを容易に接続することができます。
注意
いくつかのパートナーソリューションにおいては、Databricks SQLエンドポイントあるいはDatabricksクラスターのみをサポートしているものがあります。詳細はパートナーのドキュメントを参照ください。
これらのソリューションによって、以下のことが可能となります。
- 外部データソースからローカルのDelta Lakeテーブルにデータをロードする。
- シンプルなユーザーインタフェースを通じて、ETL(extract-transform-load)、ELT(extract-load-transform)データパイプラインを作成、管理する。
- データに対するビジネスインテリジェンスオペレーションを行う。
- データに対する機械学習(ML)を行う。
参加しているパートナーのリストに関しては、Databricks Partner Connectパートナーを参照ください。
要件
- お使いのDatabricksアカウントはDatabricksプレミアムあるいはエンタープライズプランである必要があります。これは、Partner Connectがこれらのプランでのみ利用できるDatabricks SQLを使用するためです。お使いのDatabricksアカウントの詳細を確認するには、アカウントコンソールを使用してください。
- お使いのDatabricksワークスペースはE2バージョンのDatabricksプラットフォームである必要があります。これは、Partner Connectがこのバージョンでのみ利用できるDatabricksサービスプリンシパルを使用するためです。お使いのワークスペースがE2バージョンかどうか不明の場合には、Databricks担当にお問い合わせください。
- パートナーソリューションへの新規接続を作成するためには、Databricks管理者としてワークスペースにログインする必要があります。Databricks管理者に関しては、ユーザー管理をご覧ください。
- 他のPartner Connectのタスクにおいては、まず初めにDatabricks管理者、あるいは、少なくともWorkspace accessエンタイトルメントを有しているユーザーとしてワークスペースにログインするか、SQLエンドポイントで作業している場合にはDatabricks SQL accessエンタイトルメントを有しているユーザーでログインする必要があります。詳細に関しては、ユーザー管理をご覧ください。
クイックスタート：パートナーソリューションへの接続
- お使いのDatabricksアカウント、ワークスペース、サインインしているユーザーがすべてPartner Connectの要件に合致していることを確認します。
- サイドバーで
Partner Connectをクリックします。 -
ワークスペースと接続したいパートナーのタイルをクリックします。タイルにチェックマークのアイコンがある場合には、既にワークスペースに接続済みですのでここでストップします。そうでない場合には、接続作成を完了するためにスクリーンに表示される手順に従います。
注意
Webベースのパートナーソリューションではなく、ローカルにインストールされるパートナーソリューション(例えば、Power BI DesktopやTableau Desktop)を使用する際、ワークスペースとの接続後であってもチェックマークのアイコンは表示されません。 新規接続を操作するには、Databricks Partner ConnectパートナーのリストにあるDetailsを参照ください。
ウォークスルー：Fivetranへの接続
このウォークスルーでは、FivetranをワークスペースのDatabricks SQLエンドポイントに接続するためにParter Connectを用い、Google Sheetsからサンプルデータをワークスペースに取り込みます。
Partner ConnectによるFivetranへの接続
- お使いのDatabricksアカウント、ワークスペース、サインインしているユーザーがすべてPartner Connectの要件に合致していることを確認します。
- サイドバーでPartner Connectをクリックします。
-
Fivetranのタイルをクリックします。
注意
Fivetranタイルにチェックマークがついている場合、お使いのワークスペースのユーザーの誰かが、すでにワークスペースのSQLエンドポイントとFivetranを接続したことを意味します。このウォークスルーを完了するには、Fivetranに手動で接続するまで手順をスキップしてください。 Connect to partnerダイアログでNextをクリックします。
-
Emailについては、以下のいずれかを指定します。
- Fivetranのアカウントを持っていない場合には、14日のFivetranトライアルアカウントを作成する際に使うメールアドレスを入力します。
- すでにFivetranのアカウントを持っている場合には、アカウントに関連づけられているメールアドレスを入力します。
-
Connect to Fivetranをクリックします。
重要！
組織の誰かがすでにFivetranでアカウントを作成しているというエラーが表示された場合には、以下のいずれかを実行します。- 組織のFivetranアカウント管理者にコンタクトし、入力しようとしたメールアドレスのアカウントへの追加を依頼します。追加が完了したらFivetranに手動で接続するまで手順をスキップします。
- 組織と関連づけられていないメールアドレスを入力し、再度Connect to Fivetranをクリックします。
お使いのWebブラウザに新規タブが開き、Fivetranのウェブサイトが表示されます。
Fivetranで表示される指示に従い、14日のトライアルFivetranアカウントを作成するか、既存のFivetranアカウントにサインインします。
サンプルデータの取り込みまでスキップします。
Fivetranに手動で接続する
この一連のステップを完了するためには、お使いのワークスペースの既存SQLエンドポイントにおける接続情報の詳細が必要となります。これをお使いのFivetranアカウントに追加します。
- 既存SQLエンドポイントの接続情報詳細を取得する方法に関しては、Get connection details for a SQL endpointを参照ください。
- ワークスペースで使用できるSQLエンドポイントを参照する方法に関しては、View SQL endpointsを参照ください。
- ワークスペースにSQLエンドポイントを作成する方法に関しては、Create a SQL endpointを参照ください。
また、Databricksのパーソナルアクセストークンを作成する必要があります。
ティップ
Partner ConnectのFivetranタイルにチェックマークが付いている場合には、タイルをクリックしConnection detailsを展開することで、接続済みのSQLエンドポイントの接続詳細情報を取得することができます。しかし、ここではPersonal access tokenが非表示になっていることに注意してください。Fivetranがトークンを要求した際には、新たなパーソナルアクセストークンを作成し、新規トークンを入力する必要があります。
-
https://fivetran.com/dashboardでFivetranアカウントにログインします。
重要！
組織のFivetranアカウントでサインインしている場合、Choose Destinationページには、Databricksロゴのディスティネーションが表示される場合があります。お使いのワークスペースにある別のSQLエンドポイント詳細が含まれる場合があります。これらの接続を再利用したいと考え、SQLエンドポイントが信頼でき、かつアクセス可能であれば、そのディスティネーションを選択し、サンプルデータの取り込みに進みます。あるいは、このページを去り、https://fivetran.com/accountに移動します。 FivetranのDashboardページで、Destinationsタブをクリックします。(Dashboardページが表示されない場合にはhttps://fivetran.com/accountに移動してください)
+ Destinationをクリックします。
Destination Nameを入力しAdd Destinationをクリックします。
利用可能なディスティネーションからDatabricks on AWSをクリックします。
Continue Setupをクリックします。
既存SQLエンドポイントの接続詳細情報をFivetranに入力して、Fivetranの手順を完了します。
Save & Testをクリックします。
テストが成功したのちに< Backをクリックします。
サンプルデータの取り込みに進みます。
サンプルデータの取り込み
- Fivetranウェブサイトに表示されるディスティネーションページで、Connectorsをクリックします。(ディスティネーションページが表示されない場合、https://fivetran.com/accountに移動し、DestinationsタブからDatabricksロゴのターゲットディスティネーションを選択します)
- Connectorsをクリック後に、Add Connectorをクリックいます。
- 利用可能なデータソースのリストから、Google SheetsをクリックしContinue Setupをクリックします。(別のデータソースを使いたいのであれば、それを選択します)
- FivetranのSetup Guideで表示される指示に従い、コネクタの設定を完了します。
- Save & Testをクリックします。
- テストが成功したら< Backをクリックします。
- Destinationをクリックします。
- Fivetranが適切にSQLエンドポイントに接続されていることを確認するために、Test Connectionをクリックします。
- 接続が成功したら< Backをクリックします。
- ワークスペースにデータを取り込むためにConnectorsをクリックします。
- 作成したコネクタをクリックします。
- Start Initial Syncをクリックします。
- ワークスペースでサンプルデータを参照します。同期が成功した後にDatabricksワークスペースに移動します。
- Databricks SQLでQueriesをクリックします。
- Create Queryをクリックします。
- SQLエンドポイントの名前を選択します。
-
例えば、
SELECT * FROM google_sheets.my_sheetのようなクエリーを入力します。注意
データベース名、テーブル名が違うかもしれません。適切なデータベース名、テーブル名に関しては、Fivetranで作成したコネクタの詳細を確認してください。 Runをクリックします。取り込まれたデータが表示されます。
クリーンアップ
このウォークスルーを完了した後は、使う予定のないリソースを削除します。
テーブルの削除
- Databricks SQLでQueriesをクリックします。
- Create Queryをクリックします。
- 接続に使用しているSQLエンドポイントの名前をクリックします。
-
例えば
DROP TABLE google_sheets.my_sheetのようなクエリーを入力します。注意
データベース名、テーブル名が違うかもしれません。適切なデータベース名、テーブル名に関しては、Fivetranで作成したコネクタの詳細を確認してください。このクエリーはテーブルのみを削除します。お使いのGoogle Sheetは削除しません。使用する予定がなければ手動でGoogle Sheetを削除してください。
Runをクリックします。
SQLエンドポイントとDatabricksサービスプリンシパルの削除
- Partner Connectで、チェックマークがついている** Fivetran**タイルをクリックします。
- Delete connectionをクリックします。
- Deleteをクリックします。
接続詳細情報の削除
- FivetranのDashboardページで、Destinationsタブをクリックします。(Dashboardページが表示されない場合、https://fivetran.com/accountに移動します。
- Databricksロゴのついたディスティネーションのエントリーの隣にあるXアイコンをクリックします。
- Remove Destinationをクリックします。
おめでとうございます！このウォークスルーを完了しました。
キータスク
このセクションでは、Partner Connectに関連するキータスクを説明します。
パートナーが生成したデータベース、テーブルへのユーザーをアクセスを許可する
Partner ConnectのData Ingestionカテゴリーにあるパートナーソリューションは、ワークスペースにデータベースとテーブルを作成することができます。これらのデータベース、テーブルは、パートナーソリューションに関連づけられたお使いのワークスペースにおけるDatabricksのサービスプリンシパルによって所有されます。
デフォルトでは、これらのデータベース、テーブルはサービスプリンシパルとワークスペースのDatabricks管理者のみがアクセスすることができます。ワークスペースの他のユーザーにこれらのデータベース、テーブルにアクセスを許可するには、SQLのGRANT文を使用します。既存のデータベース、テーブルに対するアクセス詳細を取得するには、SQLのSHOW GRANT文を使用します。
アクセストークンを作成する
Databricksのパートナーソリューションは、パートナーへのDatabricksのパーソナルアクセストークンの提供を要求します。
Partner Connectにおけるクラウドベースのソリューション(Fivetran、Labelbox、Prophecy、Rivery等)においては、Partner Connectが自動で(トークンと関連づけられるDatabricksサービスプリンシパルと一緒に)トークンを作成し、トークンの値をパートナーと共有します。あなたはトークンの値にアクセスすることはできません。何かしらの理由でトークンの有効期限が切れるか、パートナーとトークンの値が共有されなくなった場合には、サービスプリンシパルに対する新規トークンを作成する必要があります。これを行うためにはManage service principals and personal access tokensを参照してください。新規トークンをパートナーに共有するためには、パートナーのドキュメントを参照ください。
Databricksワークスペース管理者のみがDatabricksサービスプリンシパルに対する新規トークンを作成することができます。新規トークンを作成できない場合には、管理者にお問い合わせください。また、Manage service principalsも参照ください。
Partner Connectにおけるデスクトップベースのパートナーソリューション(Power BI、Tableauなど)においては、トークンを作成し、パートナーと共有する必要があります。トークンを作成するには、Generate a personal access tokenを参照ください。新たなトークンをパートナーと共有するようにパートナーソリューションを設定するには、Partner Connectで表示される手順かパートナーのドキュメントを参照してください。
重要！
トークンを作成し、パートナーとトークンの値を共有する際には、パートナーはDatabricksワークスペースの関連するエンティティ(DatabricksユーザーやDatabricksサービスプリンシパル)が取りうるアクションを使用できることになります。信頼できないパートナーにトークンの値を共有しないでください。
Databricksワークスペース管理者はトークン生成を無効化することができます。トークンを生成できない場合には管理者にお問い合わせください。Manage personal access tokensも参照ください。
SQLエンドポイントの外部データへのアクセスを許可する
Databricks SQLエンドポイントがDatabricks外のデータにアクセスすることを許可する際には、Configure access to cloud storageを参照ください。
トラブルシューティング
このセクションでは、Partner Connectにおける一般的な問題に対応するためのご支援をします。
パートナーに接続しようとした際にエラーメッセージが表示される
問題: Partner Connectを用いてDatabricksワークスペースをパートナーソリューションに接続しようとした際、エラーが表示され接続を作成できない。
原因: このエラーが発生する原因はいくつか存在します。
- 組織の複数の個人がパートナーにアカウントを作成しようとすると、最初の個人のみが成功します。これは組織レベルでのみアカウントを提供しているためであり、最初の個人がアカウントを作成し、組織におけるアカウントとなるためです。
- すでにパートナーのアカウントを持っている際には接続は失敗し続ける場合があります。これは、パートナーが重複するアカウントを作成するためです。
解決策:
以下のいずれかを行います。
- アカウントにあなたのメールアドレスを追加するように、パートナーに最初に組織のアカウントを作成した人に依頼します。Partner Connectをバイパスし、直接パートナーアカウントにログインしパートナーソリューションの利用を開始します。
- Partner Connectを通じて再度接続の作成にトライしますが、この際には、個人のメールアドレスなど組織のドメインに関連づけられていないメールアドレスを使用します。この場合、Databricksのワークスペースにこのメールアドレスを追加する必要があるかもしれません。
- Partner Connectをバイパスし、既存のアカウントで直接パートナーにログインし、パートナーソリューションの利用を開始します。
パートナーにログイン後にワークスペースが接続されていない場合、Databricks Partner ConnectパートナーのリストにあるDetailsセクションの指示に従って接続の作成を完了してください。
パートナーのアカウント、ウェブサイトにサインインしようとした際にポップアップブロッカーが表示される
問題: Partner Connectによるパートナーのアカウント、ウェブサイトへのサインインを使用するパートナーソリューションにおいて、Partner Connectがお使いのウェブブラウザで新規タブを開き、ポップアップブロッカーが表示される。このポップブロッカーによってパートナーのアカウント、ウェブサイトにサインインできない。
原因: お使いのウェブブラウザがポップアップをブロックしています。
解決策: お使いのウェブブラウザーでパートナーのウェブサイトのポップアップを許可します。ブラウザーによって手順は異なります。例えば、Google ChromeではGoogle Chrome HelpウェブサイトのBlock or allow popups in Chromeを参照ください。他のブラウザーに関しては、インターネットで「特定のウェブサイトに対するポップアップ許可」といったフレーズで検索してください。
追加のリソース
Partner Connectの詳細に関しては、以下のリソースを参考にしてください。