こちらのアップデートです。
管理者がワークスペースのサーバレスのベース環境を管理できるようになりました(Public Preview)
ベース環境は、サーバレス環境バージョンと一連の依存関係を定義するサーバレスノートブック向けのカスタム環境仕様です。ワークスペース管理者は自身のワークスーペースで利用できるベース環境を作成、管理できるようになりました。また、すべての新規サーバレスノートブックに対するデフォルトのベース環境を定義することができます。これによって、ワークスペースユーザーは一貫性がありキャッシュされた環境でクイックに作業をスタートすることができます。
サーバレスベース環境の管理をご覧ください。
Databricksのサーバレスベース環境は、サーバレスノートブックで使用する共通のPython環境を事前に定義・管理できる機能です。ワークスペース管理者が標準的な環境設定をYAML形式で定義し、全ユーザーに提供することで、環境構築の手間を大幅に削減できます。各ユーザーは用意された環境をベースに、必要に応じて独自のライブラリを追加することも可能です。環境のバージョン管理や依存関係の一元管理により、チーム全体で一貫性のある開発環境を維持しながら、素早くノートブック開発を開始できるようになります。現在パブリックプレビュー段階の機能として提供されています。
機能概要
サーバレスベース環境は、Databricksのサーバレスノートブックで使用する共有可能な開発環境テンプレートです。以下の主要な要素で構成されています。
基本環境の構成要素
| 要素 | 説明 |
|---|---|
| 環境バージョン | サーバレス環境のバージョン(2以降をサポート) |
| Python依存関係 | 必要なPythonライブラリのセット |
| YAML仕様ファイル | 環境設定を記述した設定ファイル |
| 管理権限 | ワークスペース管理者のみが作成・管理可能 |
環境仕様の例
environment_version: '4'
dependencies:
- --index-url https://pypi.org/simple
- -r "/Workspace/Shared/requirements.txt"
- my-library==6.1
- /Workspace/Shared/Path/To/simplejson-3.19.3-py3-none-any.whl
- git+https://github.com/databricks/databricks-cli
メリット、嬉しさ
1. 環境構築時間の大幅短縮
従来は各ユーザーが個別に環境を構築する必要がありましたが、事前にキャッシュされた環境から即座に開始できるようになります。
2. チーム全体での環境の一貫性確保
[従来の課題]
ユーザーA: pandas 1.3.0
ユーザーB: pandas 1.5.0
ユーザーC: pandas 2.0.0
→ バージョン違いによるエラーや動作の差異
[ベース環境導入後]
全ユーザー: pandas 2.0.0 (統一)
→ チーム全体で同じ環境を使用
3. 柔軟なカスタマイズ性
基本環境をベースに、各ユーザーが独自のライブラリを追加できるため、標準化と柔軟性を両立できます。
4. 管理負荷の軽減
ワークスペース管理者が一元的に環境を管理することで、セキュリティや依存関係の管理が容易になります。
使い方の流れ
機能の有効化
プレビューでBase enviroments for serverless computeをオンにします。
ステップ1: 環境仕様の作成
-
ノートブックでの環境構築
- サーバレスコンピュートに接続したノートブックを開く
- サイドパネルの「環境」ボタンをクリック
- 環境バージョンを選択(最新版を推奨)
- 必要な依存関係を追加
-
環境のエクスポート
- 「適用」をクリックして仕様を検証
- ケバブメニューから「環境のエクスポート」を選択
- YAMLファイルとして保存
今回は一からYAMLファイルを作成します。デフォルトでサーバレスコンピュートに含まれていないUnity Catalog AI Core libraryをインストールするようにします。
environment_version: '3'
dependencies:
- pydantic
- unitycatalog-ai[databricks]==0.3.2
設定していない状態でインポートするとエラーになります。
ステップ2: 基本環境の登録
設定 → ワークスペース管理 → コンピュート
→ サーバレスコンピュートの基本環境 → 管理
→ 新しい環境の作成
| 設定項目 | 入力内容 |
|---|---|
| 環境名 | ユーザーに表示される名前 |
| YAMLファイル | 作成した環境仕様ファイルを選択 |
上で作成したYAMLファイルを選択してベース環境を作成します。
作成したベース環境を選択して再度インポートすると成功します。
ステップ3: デフォルト環境の設定
ワークスペース管理者は、新規ノートブックで自動的に使用される基本環境を指定できます。
基本環境リスト → 星アイコンをクリック
→ デフォルトとして設定
新規ノートブックでデフォルトのベース設定が選択されるようになります。
ステップ4: 環境の更新
環境を更新する場合の手順:
- YAMLファイルパスをクリックして編集
- ケバブメニューから「更新」を選択
- 既存セッションは再起動が必要
注意点
権限に関する制限
| ユーザー種別 | 可能な操作 |
|---|---|
| ワークスペース管理者 | 作成、管理、更新、削除 |
| 一般ユーザー | 利用、カスタム環境の作成 |
技術的な制限事項
-
ジョブでの利用制限
- ノートブックタスクのみサポート
- その他のタスクタイプでは利用不可
-
バージョン要件
- サーバレス環境バージョン2以降が必要
- バージョン1は非対応
-
数量制限
- 1ワークスペースあたり最大10個の基本環境
-
アクセス制御
- 基本環境は全ワークスペースユーザーがアクセス可能
- 細かいアクセス制御は現時点で不可
更新時の注意点
- 環境を更新しても既存のノートブックセッションには自動反映されない
- 更新を反映するには手動でのセッション再起動が必要
まとめ
Databricksのサーバレスベース環境は、チーム開発における環境管理の課題を解決する重要な機能です。ワークスペース管理者が標準環境を定義することで、全ユーザーが一貫性のある環境から素早く開発を開始できるようになります。
特に、依存関係の管理やバージョン統一が求められるチーム開発において、その価値を発揮します。現在はパブリックプレビュー段階ですが、環境構築の時間短縮と管理負荷の軽減という明確なメリットがあるため、積極的に活用を検討する価値があります。
ただし、ワークスペースあたり10個までという制限や、ジョブでの利用がノートブックタスクに限定される点など、いくつかの制約があることも理解しておく必要があります。これらの制限を踏まえた上で、チームの開発効率向上に向けて適切に活用していくことが重要です。