Set up your Databricks account and deploy a workspace using the Account Console | Databricks on AWS [2021/12/20時点]の翻訳です。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
具体的な手順に関しては、アカウントコンソールを用いたDatabricks on AWSのアカウントのセットアップ、ワークスペースのデプロイ(実践編)を参照ください。
注意
以降の説明においては、DatabricksのアカウントコンソールとAWSユーザーインタフェースを用いて、Databricksアカウントをセットアップし、手動でワークスペースを作成する手順を説明します。アカウントとワークスペースをよりクイックに設定するために、CloudFormationのテンプレートを活用して、より容易にワークスペースを構築できる**AWS Quickstartを用いた自動化されたセットアップを使用することをお勧めします**。
訳者注
2022/1/7時点では、初回Databricksアカウントコンソールにログインした際は、上述のクイックスタートによる構築がデフォルトとなっています。顧客管理VPCを用いたデプロイを行う場合には、一旦以下の方法で本手法をスキップしてから、本書で説明されているデプロイ手順を踏んでください。
- AWSアカウントコンソールからログアウトしておきます。
- Databricksアカウントコンソールにログインし、2つのメッセージ画面を経た後で、Workspace Nameに適当な名前を入力し、一旦Start quickstartをクリックします。上でログアウトしておかないとCloud Formationのスタックを作成してしまうので注意してください。
- AWSアカウントコンソールが別タブで開きますがこちらは閉じます。
- アカウントコンソールに戻るとワークスペース一覧が表示されます。
- こちらでCreate workspace > Custom AWS configurationを選択してください。
全体のフロー
初期セットアップ
- アカウントをサインアップした後、Databricksから受け取るWelcomeメールを開き、メールアドレスを検証するためのリンクをクリックし、パスワードを設定します。Submitをクリックすると、Databricksのアカウントコンソールに遷移します。
- サブスクリプションプランを選択します。
サブスクリプションプランと価格に関しては、Databricks on AWSご利用料金を参照ください。 - Continueをクリックし、Workspacesページを開きます。
- ワークスペースをセットアップするために、Create workspaceをクリックします。ワークスペースは、あなたのチームメンバーがDatabricksの全てのアセットにアクセスするための環境となります。
-
Create Workspaceページでは、ワークスペース名、リージョン、サブスクリプションプランを確認します：
- Workspace name: 人の目で見て理解できる名称をつけます。例えば、"Acme data science workspace"などです。
- Subscription plan: サブスクリプションページで選択したプランです。
- Region: Databricksワークスペースのリソースを格納するAWSリージョンです。
- 認証設定を作成します。
- 認証設定(credential configuration)は、Databricksが、あなたのAWSアカウントでクラスターを起動するのに必要となる、限定的なアクセス権を付与するために必要な、クロスアカウントIAMロールに関する情報です。
- IAMロールと認証情報を作成するには：
- Credential configurationで、Add a new credentialを選択します。
- Add Credential Configurationダイアログで、External IDをコピーしておきます。次のステップでIAMロールを作成する際に必要になります。
-
Create a cross-account IAM role(英語)の手順に沿ってIAMロールを作成します。
- 注意 これらの手順においては、デフォルトのDatabricks管理のVPCか顧客管理VPCを使うかに応じて、ロールのポリシーに関して、3つの選択肢が存在します。Standardプランを含む、典型的なパターンではDatabricks管理のVPCを使用します。Premium、Enterpriseサブスクリプションの場合は、ワークスペースを作成する際に選択することができます。Databricks管理VPCから顧客管理VPCにワークスペースを移行することはできません。
- IAMロールの作成が終わったら、IAMロールのARNをコピーしておきます。
- Add Credential Configurationダイアログに戻って、Role ARNフィールドにロールのARNを貼り付けます。
- Credential Configuration Nameに設定名を入力します。あなたの認証設定とチームの他の人が今後作成するものの区別がつくように名前をつけてください。
- Addをクリックします。
- 詳細は、Create a credential configuration(英語)を参照ください。
- ストレージ設定を作成します。
- ストレージ設定は、特定のDatabricksのオブジェクト(クラスターログ、ノートブックのバージョン、ジョブの結果、ライブラリなど)を格納するために、あなたのAWSアカウントに作成するS3バケットの情報です。S3バケットと設定を作成するには：
- Storage configurationフィールドで、Add a new storage configurationを選択します。
- Add Storage Configurationダイアログで、ストレージ設定名を入力します。あなたのストレージ設定とチームの他の人が今後作成するものの区別がつくように名前をつけてください。
- バケット名を入力します。あなたのAWSアカウントにおいて、他のバケットと区別がつく名前を指定します。S3バケットを作成する際には正確な名前を使う必要があります。
- あなたのAWSアカウントでS3バケットを作成する際に使用するバケットポリシーを生成するために、Generate Policyをクリックします。
- 生成されたバケットポリシーをコピーします。これは、Create the S3 bucket(英語)に従って、あなたのAWSアカウントでバケットを作成する際に使用します。
- 詳細はManage storage configurations using the account console (E2)を参照ください。
- ストレージ設定は、特定のDatabricksのオブジェクト(クラスターログ、ノートブックのバージョン、ジョブの結果、ライブラリなど)を格納するために、あなたのAWSアカウントに作成するS3バケットの情報です。S3バケットと設定を作成するには：
- (オプション)デフォルトのDatabricks管理VPCではなく、あなたが管理するVPCを使用するためのネットワーク設定に関しては、Advanced Settingsをクリックします。このオプションはPremium、Enterpriseプランで使用できます。
- デフォルトでは、DatabricksはあなたのAWSアカウント上にワークスペースのためのVPCを作成します。あなたの組織の標準に従いながらも、Databricksの要件に応えるために、あなたの手で作成した、顧客管理のVPC(customer-managed VPC)を使うこともできます。詳細は顧客管理VPCを参照ください。
- ネットワーク設定を作成するには：
- 顧客管理VPCに記載されている要件に合致するVPCを作成します。VPC ID、サブネットID、セキュリティグループIDをコピーしておきます。
- Advanced settings > Network configurationで、Add a new network configurationを選択します。
- Add Network Configurationダイアログで、ネットワーク設定名を指定します。あなたのネットワーク設定とチームの他の人が今後作成するものの区別がつくように名前をつけてください。
- コピーしておいたVPC ID、サブネットID、セキュリティグループIDを入力します。
- Addをクリックします。
- ワークスペースの設定が完了したらSaveをクリックします。
- 新たに作成されたワークスペースに遷移します。そうでない場合、アカウントコンソールのWorkspacesページにあるワークスペース名をクリックすることで、ワークスペースに移動することができます。ワークスペースのURLをブックマークしておき、アカウントコンソールにアクセスする際に用いたユーザー名(メールアドレス)とパスワードでログインします。
- 新たに作成されたワークスペースに遷移します。そうでない場合、アカウントコンソールのWorkspacesページにあるワークスペース名をクリックすることで、ワークスペースに移動することができます。ワークスペースのURLをブックマークしておき、アカウントコンソールにアクセスする際に用いたユーザー名(メールアドレス)とパスワードでログインします。
次のステップ
Databricksの使い方を学ぶ
- ユーザー向けDatabricksスタートガイドを試す。
- Getting started with Databricks | Databricks on AWS(英語)のラーニングパスに沿って学習を進める。
- Databricksワークスペースのコンセプトを学ぶ。
- ワークスペースのWelcomeページにあるquickstart notebookを実行する。
- フリーのトレーニング(英語)を活用する(ご契約いただいたお客様のみ)。
ユーザーの追加、セキュリティの設定など管理者のタスクを学ぶ
- アカウント管理作業を以上するために、管理者ユーザーを追加できます。Delegate account administration | Databricks on AWS(英語)を参照ください。
- ワークスペースへのユーザー追加、セキュリティのセットアップ、ログの設定などワークスペースの設定に関しては、管理者向けDatabricksスタートガイドを参照ください。
- Administration guide(英語)では、管理者の全てのタスクが網羅されています。
請求情報の追加
14日間のフリートライアルを申し込んでいる場合、請求情報を追加することでトライアル終了後もDatabricksアカウントをご利用いただけます。
- アカウントオーナーとしてアカウントコンソールにログインします。
- サイドバーのSettingsアイコンをクリックし、Subscription & Billingタブをクリックします。
- Add billing informationボタンをクリックします。
- Billingページで請求情報を入力しSaveをクリックします。
キャンセルするまでは月ごとに請求が発生します。クレジットカードの月額課金から請求書、コミットベースの請求に変更するには、Databricks担当にお問い合わせください。
アカウント管理詳細
Databricksのサブスクリプション、アカウント情報の更新などに関する詳細は、Manage your Databricks account (E2)(英語)を参照ください。