Get workspace, cluster, notebook, model, and job identifiers | Databricks on AWS [2021/6/11時点]の翻訳です。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
本書では、どのようにしてDatabricksのワークスペースID、クラスターID、ノートブックID、モデルID、ジョブIDを取得するのかを説明します。
ワークスペースのインスタンス名、URL、ID
それぞれのDatabricksデプロイメントに対してインスタンス名が割り振られます。ワークロードを分離し、適切なユーザーに対してのみアクセスを許可するために、Databricksを利用するお客様は通常、開発、ステージング、プロダクションのインスタンスを別々に作成します。インスタンス名は、Databrikcsデプロイメントにログインした際のURLの最初の部分となります。
https://cust-success.cloud.databricks.com/にログインした場合、インスタンス名はcust-success.cloud.databricks.comになります。
Databricksのワークスペースは、Databricksのプラットフォームが動作し、皆様がSparkクラスターを作成し、ワークロードをスケジュールする場所となります。いくつかのタイプのワークスペースにはユニークなワークスペースIDがあります。デプロイメントのURLにo=が含まれている場合、例えば、https://<databricks-instance>/?o=6280049833385130の場合、o=の後のランダムな数字がDatabricksワークスペースIDとなります。ここでは、ワークスペースIDは6280049833385130 となります。デプロイメントのURLにo=がない場合、ワークスペースIDは0となります。
クラスターのURL、ID
Databricksのクラスターは、プロダクションETLパイプライン、ストリーミング分析、アドホック分析、機械学習の実行といった様々なユースケースに対する統合プラットフォームを提供します。それぞれのクラスターにはクラスターIDと呼ばれるユニークなIDがあります。これは、all-purposeクラスター、jobクラスターの両方に適用されます。REST APIを用いてクラスターの詳細を取得するには、クラスターIDが重要となります。
クラスターIDを取得するには、サイドバーのComputeをクリックし、クラスター名を選択します。クラスターIDは、このページのURLの/clusters/以降に表示されます。
https://<databricks-instance>/#/setting/clusters/<cluster-id>
以下のスクリーンショットでは、クラスターIDは1115-164516-often242となります。
ノートブックのURL、ID
ノートブックは実行可能なコード、ビジュアライゼーション、ナラティブなテキストを含むドキュメントに対するwebベースのインタフェースです。ノートブックはDatabricksとインタラクションをするためのインタフェースの一つです。ノートブックのURLにはノートブックIDが含まれており、ノートブックのURLはノートブックに対して固有のものであることを意味します。ノートブックを参照、編集できるDatabricksプラットフォームの他のユーザーと共有することができます。さらに、それぞれのノートブックのコマンド(セル)には異なるURLが割り振られます。
ノートブックURLを取得するには、ノートブックを開きます。ノートブックのセルのURLを取得するには、コマンドのコンテンツをクリックします。
このノートブックでは、
- ノートブックのURLは以下の通りです。
https://cust-success.cloud.databricks.com/#notebook/333096
- ノートブックIDは
333096になります。 - コマンド(セル)のURLは以下の通りとなります。
https://cust-success.cloud.databricks.com/#notebook/333096/command/333099
モデルのID
モデルは、ステージ管理とバージョン管理を通じて、プロダクションでのMLflowモデルを管理することができるMLflow登録モデルを参照するものです。登録モデルIDは、Permissions API 2.0を通じてプログラムからモデルのアクセス権を変更するために必要となります。
登録モデルのIDを取得するためには、REST API (latest)エンドポイントmlflow/databricks/registered-models/getを使用することができます。例えば、以下のコードはIDを含むプロパティとともに登録モデルオブジェクトを返却します。
curl -n -X GET -H 'Content-Type: application/json' -d '{"name": "model_name"}' \
https://<databricks-instance>/api/2.0/mlflow/databricks/registered-models/get
結果は以下のようなフォーマットになります。
{
"registered_model_databricks": {
"name":"model_name",
"id":"ceb0477eba94418e973f170e626f4471"
}
}
ジョブのURL、ID
*ジョブ*はノートブックやJARを即時、あるいはスケジュール実行できる方法を提供します。
ジョブのURLを取得するには、サイドバーのJobsをクリックし、ジョブ名をクリックします。ジョブのURLは、失敗したジョブの実行のトラブルシュートを行い、根本原因を調査するために重要な情報となります。ジョブのIDはURLの#job/以降のものとなります。
https://cust-success.cloud.databricks.com/#job/25612
この例では、ジョブIDは25612となります。
