Databricksのリリースノートをスクレイピングし、生成AIによる翻訳を行い、ユーザーへのインパクトを説明する文を生成しています。すべての処理は自動で行われています。
注意
翻訳やインパクトの説明文は生成AIによるものですので、詳細は原文を確認ください。
DatabricksエージェントSDK 0.13.0 リリース
2024-12-18
databricks-agents SDKのバージョン 0.13.0がPyPIにリリースされました。これには、以下の変更が含まれています：
ユーザーへのインパクト
DatabricksエージェントSDKの新しいバージョン（0.13.0）がリリースされました。このバージョンに含まれる変更点について、Databricksユーザーにどのような影響があるかを調べてみましょう。
新しいバージョンのリリースは通常、バグの修正、パフォーマンスの向上、新機能の追加など、ユーザーにとって有益な変更をもたらします。PyPIでの公開により、Pythonを使用するDatabricksユーザーは、pipなどのパッケージマネージャーを通じてこの新しいバージョンを容易にインストールまたはアップグレードできるようになります。
この新しいバージョンに含まれる具体的な変更点については、リリースノートの詳細を確認する必要がありますが、一般的には以下のような影響が予想されます：
-
機能の強化: 新機能や既存の機能の拡張が含まれている可能性があります。これにより、ユーザーはより効率的な方法でDatabricksを利用でき、ワークフローの自動化やデータ分析の強化が期待できます。
-
バグの修正: 以前のバージョンで報告されたバグや不具合の修正が含まれているかもしれません。これにより、ユーザーはより安定したエクスペリエンスを享受でき、作業の妨げとなる障害が減ります。
-
セキュリティの向上: セキュリティ関連のアップデートや脆弱性の修正が含まれている可能性があります。最新のセキュリティ対策を採用することで、ユーザーのデータとシステムがより安全に保護されます。
-
互換性の向上: 新しいバージョンのDatabricksやその他の依存ライブラリとの互換性が向上している可能性があります。これにより、ユーザーは最新のツールやプラットフォームを活用し、システムの全体的なパフォーマンスと柔軟性を高めることができます。
これらの変更は、Databricksを
外部グループは現在ラベル付けされ、変更不可です
2024-12-18
外部グループは、アイデンティティ プロバイダーから Databricks で作成されたグループです。これらのグループは、SCIM プロビジョニング コネクタを使用して作成され、アイデンティティ プロバイダーと同期されたままになります。外部グループは、明示的に External とラベル付けされ、既定では Databricks アカウント コンソールまたはワークスペース管理者設定ページから更新できなくなります。Databricks UI から外部グループ メンバーシップを更新するには、アカウント管理者がアカウント コンソールのプレビュー ページで Immutable external groups を無効にする必要があります。
ユーザーへのインパクト
Databricksユーザーに対する影響：
- 外部グループはDatabricks内で「外部」とラベル付けされます。
- ユーザーは、Databricksアカウントコンソールまたはワークスペース管理者設定ページから、外部グループを更新することはできなくなります。
- アカウント管理者は、アカウントコンソールのプレビューページで「Immutable external groups」を無効にすることで、Databricks UIから外部グループメンバーシップを更新できるようになります。
メタストア内で同じメタストア内のコラボレーターとテストクリーンルーム
2024-12-17
メタストア内からコラボレーターを追加することで、フル展開前にクリーンルームをテストできます。詳細については、クリーンルームの作成を参照してください。
ユーザーへのインパクト
Databricksユーザーがメタストア内で同じメタストア内のコラボレーターとテストすることが可能になりました。これにより、フル展開前にクリーンルームをテストできます。詳細については、クリーンルームの作成のドキュメントを参照してください。
グループに計算リソースを割り当て (パブリック プレビュー)
2024-12-17
新しい 専用 アクセスモード (以前の シングル ユーザー) により、汎用コンピュートをユーザー グループまたは単一のユーザーに割り当てることができます。詳しくは、ユーザー グループにコンピュート リソースを割り当てる を参照してください。
ユーザーへのインパクト
この機能により、管理者はユーザーグループまたは単一のユーザーに計算リソースを効率的に割り当て、リソースの管理と利用をより柔軟に制御できるようになります。
Pythonコード実行エージェント（パブリックプレビュー）
2024-12-16
あなたは今、AIエージェントにPythonコードを実行させる能力をすぐに与えることができます。Databricksは、AIエージェントが言語生成を超えた能力を拡張するためにツールとして使用できる、事前構築されたUnity Catalog関数を提供しています。
ユーザーへのインパクト
Databricksユーザーは、AIエージェントがPythonコードを実行できるようになりました。これにより、より柔軟なタスクの自動化とアイデアの実現が可能になります。また、事前構築されたUnity Catalog関数が提供され、AIエージェントの能力を拡張して、より高度なタスクを実行できるようになりました。
Unity Catalog MANAGE権限 (パブリック プレビュー)
2024-12-14
ユーザーに Unity Catalog セキュア可能オブジェクトの MANAGE 権限を付与できます。 MANAGE 権限により、ユーザーは Unity Catalog オブジェクトに対して主な操作を実行できます。これには、以下の操作が含まれます:
ユーザーへのインパクト
Unity CatalogのMANAGE権限の追加により、ユーザーはUnity Catalogのセキュア可能オブジェクトに対して主な操作を実行できるようになります。この権限には、以下の操作が含まれます。
Meta Llama 3.3が、プロビジョニングされたスループットのワークロードに対して利用可能になりました
2024-12-13
Metaによって構築およびトレーニングされたモデルアーキテクチャであるMeta Llama 3.3が、Foundation Model APIでプロビジョニングされたスループットで提供できるようになりました。
ユーザーへのインパクト
Databricksユーザーに対しては、より優れたモデルアーキテクチャであるMeta Llama 3.3が、プロビジョニングされたスループットのワークロードで利用可能になりました。
Delta Live Tables パイプラインの更新についてストリーミング ワークロード メトリックを表示する (パブリック プレビュー)
2024-12-12
Delta Live Tables UIでパイプラインの更新を表示する場合、パイプライン内の各ストリーミング フローに対するバックログ (秒)、バックログ (バイト)、バックログ レコード、およびバックログ ファイルなどのメトリックを表示できます。ストリーミング メトリックは、Apache Kafka、Amazon Kinesis、Auto Loaderを含むSpark Structured Streamingソースでサポートされます。詳細は、ストリーミング メトリックの表示を参照してください。
ユーザーへのインパクト
Databricksユーザーは、Delta Live Tables UIでパイプラインの更新を表示する際に、ストリーミング ワークロード メトリック（例：バックログ (秒)、バックログ (バイト)、バックログ レコード、およびバックログ ファイル）を確認できるようになりました。Apache Kafka、Amazon Kinesis、Auto Loaderなど、Spark Structured Streamingソースでサポートされています。これにより、パイプラインのパフォーマンスとトラブルシューティングが容易になります。
Lakehouse Federation では Oracle (パブリック プレビュー) をサポートします。
2024-12-12
Oracle が管理するデータに対するフェデレーション クエリの実行が可能になりました。詳細は、Oracle に対するフェデレーション クエリの実行を参照してください。
ユーザーへのインパクト
Databricks ユーザーは、Lakehouse Federation を使用して Oracle データベースに対するフェデレーション クエリを実行できるようになりました。つまり、Oracle が管理するデータにアクセスして分析することができます。
シングルサインオンのないアカウントでユニファイドログインが有効になりました。
2024-12-12
統合ログインにより、アカウント内の 1 つのシングル サインオン (SSO) 構成を管理し、すべてのワークスペースで使用できます。アカウント レベルまたはワークスペース レベルの SSO を Databricks で既に構成していない場合、統合ログインはすべてのワークスペースで有効になり、無効にできません。統合ログインは、2023 年 6 月 21 日以降に作成されたアカウントでは既定で有効になっているため、Databricks で SSO を構成する。
ユーザーへのインパクト
シングルサインオンを設定していない場合、統合ログインが有効になります。これにより、アカウント内のすべてのワークスペースで一つのシングルサインオン構成を使用できるようになります。ただし、2023年6月21日以降に作成されたアカウントでは、統合ログインが既定で有効になるため、無効にすることはできないので、適切に対応してください。
ジョブの実行のストリーミング ワークロード メトリックを表示する (パブリック プレビュー)
2024-12-12
Databricks ジョブ UI でジョブの実行を表示する場合、Apache Kafka、Amazon Kinesis、Auto Loader などの Spark Structured Streaming でサポートされているソースのバックログ秒、バックログ バイト、バックログ レコード、バックログ ファイルなどのメトリックを表示できます。詳細については、ストリーミング タスクのメトリックの表示を参照してください。
ユーザーへのインパクト
Databricksユーザーに対する影響としては、ジョブの実行に関するより詳細な情報が提供されるようになったことが挙げられます。特に、ストリーミング ワークロードのメトリックをリアルタイムに確認できるようになり、ジョブのパフォーマンスをより効果的にモニタリングおよび最適化できるようになりました。
サーバーレス エグレス コントロールを使用してサーバーレスのアウトバウンド ネットワーク接続を管理する
2024-12-11
サーバーレス Eggress 制御を使用すると、指定されたインターネットの宛先への外向きアクセスを制限できます。 サーバーレス Eggress 制御とは を参照してください。
ユーザーへのインパクト
サーバーレス Eggress コントロール機能を使用することで、サーバーレス環境でのアウトバウンド ネットワーク接続をより厳密に管理できるようになります。これにより、指定されたインターネット上の宛先に対する外向きアクセスを制限できるため、セキュリティとコンプライアンスの向上に役立ちます。
Unity Catalog は、Hive metastores および AWS Glue と連携することができます。
2024-12-11
Unity Catalogを使用して、Hiveメタストアに登録されているデータにアクセスして管理することができます。これには、外部で管理されるHiveメタストア、AWS Glue、レガシーのDatabricks Hiveメタストアが含まれます。
ユーザーへのインパクト
Unity Catalogを使用すれば、HiveメタストアやAWS Glueに登録されているデータにアクセスして管理することができるので、データ管理の効率化が期待できます。
Databricks Runtime 16.1（ベータ版）
2024-12-11
Databricks Runtime 16.1 および Databricks Runtime 16.1 ML がベータ版として利用可能になりました。
ユーザーへのインパクト
Databricks ユーザーに対する影響は、以下のようになります。
- Databricks Runtime 16.1 と Databricks Runtime 16.1 ML がベータ版で利用可能になったため、最新の機能と更新をテストして評価することができます。
- ベータ版の使用には、注意が必要です。安定したバージョンではないため、一部の機能が動作しない可能性があります。
- ベータ版の使用は、新しい機能を早期にテストし、フィードバックを提供する開発者やテスト担当者向けに適しています。
カタログレベルのストレージ分離を強制するためにメタストアレベルのストレージを削除する
2024-12-11
マネージド テーブルとボリューム (メタストア ストレージ ルートとも呼ばれる) に対するメタストア レベルのストレージがある場合に、カタログ レベルまたはスキーマ レベルでデータ ストレージの分離を強制する場合は、既存のワークロードを中断せずにそのメタストア レベルのストレージを削除できるようになりました。詳細は、メタストア レベルのストレージの削除を参照してください。
ユーザーへのインパクト
これは、Databricksユーザーにとって利便性の高い更新です。従来、メタストアレベルのストレージが存在する場合、カタログレベルのストレージ分離を強制するには、ワークロードを中断してメタストアレベルのストレージを削除する必要がありました。しかし、この更新により、ユーザーは既存のワークロードを中断せずにメタストアレベルのストレージを削除できるようになり、データ管理とセキュリティの強化がよりスムーズに実行できるようになりました。
アカウントの个人アクセストークンを監視および取り消す (パブリック プレビュー)
2024-12-11
アカウント管理者は、PATをアカウントコンソールで監視および取り消すためにトークンレポートを表示できるようになりました。Databricksでは、セキュリティと利便性の向上のため、PATではなくOAuthアクセストークンを使用することをおすすめします。このプレビューに参加するには、アカウントのパーソナルアクセストークンを監視および取り消すを参照し、Databricksアカウントチームにご連絡ください。
ユーザーへのインパクト
アカウント管理者は、個人アクセストークンを監視および取り消すことができるようになりました。また、セキュリティや利便性を高めるために、OAuthアクセストークンを使用することをお勧めします。
ネットワーク アクセス イベント システム テーブルが利用できるようになりました (パブリック プレビュー)
2024-12-11
Databricks システム テーブルには、ネットワーク アクセス テーブルが含まれます。このテーブルは、アカウントからインターネット アクセスが拒否されるたびにイベントをログに記録します。テーブルにアクセスするには、管理者は アクセス システム スキーマを有効にする必要があります。詳細は、ネットワーク アクセス イベント システム テーブルのリファレンス ドキュメントを参照してください。
ユーザーへのインパクト
この変更は、Databricks のシステム テーブルに新しいネットワーク アクセス テーブルが追加されたことを意味します。このテーブルは、アカウントからインターネット アクセスが拒否されるたびにイベントをログに記録します。管理者は、このテーブルにアクセスするために「アクセス」システム スキーマを有効にする必要があります。これにより、管理者はアカウントのネットワーク アクセスをより詳細に監視および管理できるようになります。
Meta Llama 3.3 70B InstructがModel Servingで利用可能になりました。
2024-12-11
Mosaic AI Model Serving では、Meta が構築してトレーニングした最新の大規模言語モデルである Meta Llama 3.3 70B Instruct がサポートされます。Llama 3.3 70B Instruct は、Foundation Model APIs のトークン単位課金の一部として利用できます。この提供には、関数呼び出しのサポートも含まれます。
ユーザーへのインパクト
この更新により、Databricksユーザーは、より高性能な言語処理能力を持つMeta Llama 3.3 70B InstructモデルをModel Servingで利用できるようになりました。このモデルは、Foundation Model APIsの一部としてトークン単位で課金され、関数呼び出しもサポートされています。つまり、ユーザーはより精度の高いテキスト分析や生成タスクを実行できるようになります。
bamboolibは現在非推奨です。
2024-12-10
bamboolibは非推奨になりました。ユーザーは、ノートブック内で低コードのデータ分析を実行するために引き続きbamboolibにアクセスできますが、Databricksはこのツールのアクティブな開発とサポートを終了しました。コード生成の支援については、Databricks Assistantを使用してください。
ユーザーへのインパクト
bamboolibは非推奨となり、アクティブな開発とサポートが終了しましたが、ノートブック内で低コードのデータ分析には引き続き使用可能です。代わりに、コード生成支援としてDatabricks Assistantを使用することをお勧めします。
AIエージェントの評価を合成評価セットで最適化する
2024-12-09
ドキュメントから代表的な評価セットを生成して、AI エージェントを評価します。合成生成 API はエージェント評価と密に統合されており、人間によるラベリングの高額なプロセスを経ることなく、エージェントの応答の品質をすばやく評価および改善できます。詳細は、評価セットを合成するを参照してください。
ユーザーへのインパクト
Databricksユーザーに対する影響:
AIエージェントの評価が改善され、エージェントの応答の品質を迅速に評価および改善できるようになりました。これにより、人間によるラベリングのプロセスが不要になり、コストと時間が削減されます。
モザイク AI モデルトレーニング - サーバーレス予測 (パブリック プレビュー)
2024-12-05
Mosaic AIモデル訓練 - 予測は、管理されたサーバーレスコンピュート、Unity Catalogのサポート、ディープラーニングアルゴリズムへのアクセス、およびインターフェイスの強化によって、既存のAutoML予測エクスペリエンスを向上させます。 予測（サーバーレス）を使用した自動化された Machine Learning を参照してください。
ユーザーへのインパクト
このリリースノートは、Databricks の Mosaic AI モデルトレーニング - サーバーレス予測機能の更新について言及しています。この機能はパブリック プレビュー段階です。ここでは、この更新が Databricks ユーザーにどのような影響を与えるかを簡潔にまとめます。
主な更新点
- サーバーレス予測の強化: サーバーレス予測機能は、管理されたサーバーレスコンピューティングを導入し、ユーザーがサーバーの管理を気にせずに予測モデルのトレーニングとデプロイを実行できるようになります。
- Unity Catalog のサポート: Unity Catalog がサーバーレス予測に統合され、メタデータ管理と統一されたデータ ガバナンスが可能になります。
- ディープラーニングアルゴリズムへのアクセス: ユーザーは、より高度な予測モデルの作成を可能にするディープラーニングアルゴリズムを利用できるようになります。
- インターフェイスの強化: ユーザー エクスペリエンスが向上し、モデルのトレーニングとデプロイがより直感的かつ効率的になります。
ユーザーへの影響
- 使いやすさの向上: 機能の強化により、ユーザーはより直感的かつ効率的に予測モデルのトレーニングとデプロイを行えます。
- 柔軟性とスケーラビリティ: サーバーレスコンピューティングとディープラーニングアルゴリズムのサポートにより、大規模なデータセットや複雑なモデルに対応しやすくなります。
- コストの最適化: サーバーレスコンピューティングは、リソース使用量に基づいて自動的にスケールするため、コストが削減されます。
- データ管理の強化: Unity Catalog の統合により、メタデータ管理とデータ ガバナンスが統一され、データの可用性と信頼性
Databricks から Databricks Delta Sharing へのテーブル読み取りパフォーマンスを履歴共有で改善する (パブリック プレビュー)
2024-12-05
Databricks-to-Databricks テーブル共有のパフォーマンスを、履歴の共有を有効にすることで改善します。詳細については、履歴の共有によるテーブル読み込みパフォーマンスの向上を参照してください。
ユーザーへのインパクト
Databricksユーザーに対する影響は、DatabricksからDatabricks Delta Sharingへのテーブル読み取りパフォーマンスの向上です。特に、履歴共有を有効にすると、テーブル読み込みのパフォーマンスが改善されることが期待できます。
最大パーソナルアクセストークンの有効期間は730日（2年）に引き上げられました
2024-12-05
新しく作成されたDatabricks発行の個人アクセストークンのデフォルトの最大有効期間は、730日（2年）に設定されます。以前は、個人アクセストークンはデフォルトで有効期限なしで作成できるようになっていました。この更新により、ユーザーは730日を超える有効期間の新しいトークンを生成できなくなり、有効期間の指定なしに作成されたトークンは、730日の有効期間が設定されます。ワークスペースのトークンの最大有効期間を730日未満に構成した場合、構成は変更されません。詳細は、個人アクセストークンを監視して取り消すおよびDatabricks個人アクセストークン認証を参照してください。
ユーザーへのインパクト
Databricksユーザーに対する影響としては、以下の点が挙げられます。
- 新しく作成されるパーソナルアクセストークンのデフォルトの有効期間は730日（2年）になります。
- 以前は有効期限なしでトークンを作成できたのに対し、有効期間の指定なしに作成されたトークンは、自動的に730日の有効期間が設定されます。
- 730日を超える有効期間のトークンを新しく生成することはできなくなります。
- ワークスペースで、トークンの最大有効期間が730日未満に設定されている場合、この変更による影響はありません。
モデル提供のエンドポイントに予算ポリシーを追加する
2024-12-04
予算ポリシー は、モデル提供エンドポイントでサポートされます。詳細は、モデル提供エンドポイントの管理 を参照してください。
ユーザーへのインパクト
これは、Databricksのモデル提供エンドポイントで予算ポリシーを設定できるようになったことを意味します。つまり、ユーザーはモデル提供エンドポイントのコストを管理し、予算を超過しないように制限を設けることができます。
ノートブックのテーブルツールチップの追加メタデータ
2024-11-25
ノートブック セルで Unity Catalog テーブルの名前をホバーしたときに、ツールチップには、次のメタデータが含まれます。
ユーザーへのインパクト
この機能は、DatabricksユーザーがUnity Catalogテーブルに関する追加のメタデータを簡単に閲覧できるようにするものです。テーブル名をホバーするだけで、詳細情報がポップアップするため、ユーザーはノートブック内で迅速に情報にアクセスできます。これにより、効率的なデータ分析と開発が促進され、ユーザーはコンテキストを切断せずに関連情報を確認できます。
Databricks Assistantは、Databricksがホストするモデルを使用できます
2024-11-22
パートナーがホストするモデルではなく、Databricks Model Serving を稼働させるのと同じインフラストラクチャでホストされる Databricks ホスト モデル (パブリック プレビュー) で Power Databricks Assistant を有効にします。モデルは Databricks によって管理されます。
ユーザーへのインパクト
Databricks ユーザーに対する影響は、Databricks Assistant で Databricks がホストするモデルを使用できるようになったことです。これにより、Databricks Model Serving と同じインフラストラクチャでモデルをホストでき、モデルは Databricks によって管理されるようになります。
統一ログインのないワークスペースのための緊急アクセス
2024-11-21
ロックアウトを防ぐために、ワークスペース管理者は、統一ログインを無効にし、シングルサインオンを有効にしたDatabricksワークスペースに、Databricks資格情報とMFAを使用してログインできるようになりました。詳しくは、ロックアウトの防止のための緊急アクセスを参照してください。
ユーザーへのインパクト
この新機能により、統一ログインを無効にし、シングルサインオンを有効にしているDatabricksワークスペースでも、ワークスペース管理者はDatabricks資格情報とMFA（マルチファクタ認証）を使用してログインすることができます。これにより、ロックアウトを防ぐための緊急アクセスが可能になります。
FedRAMP ModerateおよびPCI-DSSでは、us-west-2でのサーバーレス・コンピューティングがサポートされるようになりました
2024-11-21
FedRAMP ModerateおよびPCI-DSSのコンプライアンスコントロールは、us-west-2の以下をサポートするようになりました。
- サーバーレスのSQL ウェアハウス
- ノートブックおよびワークフロー用のサーバーレスのコンピューティング
- サーバーレスのDelta Live Tables パイプライン
どのコンピューティング リソースを高度なセキュリティ化するかおよびサーバーレスのコンピューティングの可用性とセキュリティ プロファイルのコンプライアンス基準を参照してください。
ユーザーへのインパクト
Databricksユーザーに対する影響は以下の通りです。
- us-west-2リージョンでFedRAMP ModerateおよびPCI-DSSのコンプライアンスコントロールがサポートされるようになりました。
- これにより、サーバーレスのSQLウェアハウス、ノートブックおよびワークフロー用のサーバーレスのコンピューティング、サーバーレスのDelta Live Tablesパイプラインがus-west-2リージョンで利用可能になりました。
*高度なセキュリティ化されるコンピューティングリソースについては、どのコンピューティング リソースを高度なセキュリティ化するかを参照してください。 - サーバーレスのコンピューティングの可用性とセキュリティプロファイルのコンプライアンス基準については、サーバーレスのコンピューティングの可用性とセキュリティ プロファイルのコンプライアンス基準を参照してください。
自動クラスター更新とセキュリティおよびコンプライアンス UI の強化が一般提供された
2024-11-19
自動クラスター更新が一般提供開始されました。 自動クラスター更新では、ワークスペース内のすべてのクラスターが一定期間ごとに最新のホスト OS イメージおよびセキュリティ更新プログラムに更新されることが保証されます。 アカウントコンソールから高度なセキュリティおよびコンプライアンス機能を有効にする機能も、一般提供開始されました。 自動クラスター更新 と 高度なセキュリティとコンプライアンスの設定の構成 を参照してください。
ユーザーへのインパクト
Databricksユーザーに対する影響は以下の通りです。
- 自動クラスター更新により、クラスターのセキュリティと更新の管理が自動化され、ユーザーが手動で更新する必要がなくなります。
- 高度なセキュリティおよびコンプライアンス機能が一般提供開始されたことで、ユーザーはアカウントコンソールからこれらの機能を有効にすることができます。
- これらの機能により、Databricksのセキュリティとコンプライアンスが強化され、ユーザーのワークロードが保護されます。
ウェブターミナルの改善
2024-11-18
Databricksは、Webターミナルのエクスペリエンスに以下の改善を加えました:
ユーザーへのインパクト
Databricksのウェブターミナルが強化され、ユーザーがよりスムーズに操作できるようになりました。
ノートブックでのPython デバッガーのサポートの強化
2024-11-18
Databricks ノートブックの組み込み Python デバッガーが、Databricks Runtime 14.3 LTS 以上で共有アクセス モードを使用して構成されたサーバーレス コンピュートまたはコンピュートでサポートされるようになりました。デバッガーの詳細については、ノートブックのデバッグを参照してください。
ユーザーへのインパクト
Databricks のユーザーは、Databricks Runtime 14.3 LTS 以上のバージョンを使用して、組み込みの Python デバッガーを使用できるようになりました。この機能により、ノートブックで Python コードのデバッグが容易になります。
倉庫システムテーブルは現在利用可能（パブリックプレビュー）
2024-11-15
system.compute.warehousesテーブルには、SQL ウェアハウスの構成が記録されます。各行は、特定の時点での SQL ウェアハウスのプロパティのスナップショットです。プロパティが変更されるたびに、新しいスナップショットが作成されます。詳細は、ウェアハウス システム テーブル リファレンスを参照してください。
ユーザーへのインパクト
Databricksユーザーに対する変更の影響は以下の通りです。
- SQLウェアハウスの構成を追跡および管理できる新しいシステムテーブル
system.compute.warehousesが利用可能になりました。 - このテーブルには、各SQLウェアハウスのプロパティのスナップショットが記録されており、プロパティが変更されるたびに新しいスナップショットが作成されます。
- ユーザーは、ウェアハウス システム テーブル リファレンスを参照して、詳細な情報を確認できます。
これにより、DatabricksユーザーはSQLウェアハウスの構成をより効率的に管理および分析できるようになります。
モザイク AI モデル トレーニングのブランド変更
2024-11-15
Mosaic AIモデルトレーニングは、既存の機能を包含するためにブランド名が変更されました:
ユーザーへのインパクト
このブランド変更は、Mosaic AI モデル トレーニング機能自体の変更ではありません。Databricks の機能名称や表示が変更されたということです。機能の内容や使い方に変更はありません。
Delta Live Tablesのクエリ履歴とクエリプロファイルのサポート
2024-11-15
Delta Live Tables パイプラインのクエリ パフォーマンスを監視するための改良されたツールを Databricks で利用できるようになりました。詳細については、Delta Live Tables パイプラインのクエリ履歴へのアクセスを参照してください。
ユーザーへのインパクト
Delta Live Tablesのクエリ履歴とクエリプロファイルのサポートにより、Databricksユーザーはパイプラインのクエリのパフォーマンスをより詳細に監視および分析できるようになります。これにより、パイプラインの最適化とトラブルシューティングが容易になります。
SQLの出力を後のSQLセルで _sqldf として再利用する
2024-11-15
Databricks Runtime 14.3 以降では、Databricks ノートブックで SQL クエリを実行すると、下流の SQL セルで使用できる暗黙の DataFrame (_sqldf) が生成されます。これは、Databricks Runtime 13.3 で導入された Python セルで _sqldf 変数を使用する機能のサポートに追加されます。詳しくは、SQL セルの結果の確認を参照してください。
ユーザーへのインパクト
Databricksユーザーに対する影響としては、Databricks Runtime 14.3以降でSQLクエリを実行すると、自動的に使用できるDataFrame _sqldf が生成され、後のSQLセルで再利用できるようになります。これにより、データの取得と操作のプロセスが簡素化され、効率化されます。
クロスプラットフォーム ビュー共有 (パブリック プレビュー)
2024-11-14
Databricks の受信者は、任意の Databricks 計算リソースを使用して共有ビューのクエリを実行できるようになりました。 以前は、受信者の Databricks アカウントがプロバイダーのアカウントと異なる場合、受信者はサーバーレス SQL ウェアハウスを使用してのみ共有ビューのクエリを実行できました。 共有ビューの読み取り を参照してください。
ユーザーへのインパクト
この更新により、Databricksユーザーは、サーバレスSQLウェアハウスに限定されずに、自分のアカウントの任意の計算リソースを使用して、共有ビューのクエリを実行できるようになりました。これにより、計算リソースの選択肢が増え、より柔軟なデータ分析が可能になります。
Clean Rooms のパブリックプレビューが非ゲート化され、新しい機能が導入さ
2024-11-13
Databricks Clean Roomsは、Delta Sharingとサーバーレスコンピューティングを使用して、複数の当事者が機密性の高いエンタープライズデータを共有し、互いのデータに直接アクセスせずにコラボレーションできる、セキュリティとプライバシーの保護された環境を提供します。 Clean Roomsのパブリックプレビューは、AzureとAWSのすべての顧客にオープンし、以下の新しい機能が含まれています：
ユーザーへのインパクト
Databricks Clean Rooms のパブリックプレビューが非ゲート化され、Azure と AWS のすべての顧客にオープンになりました。Clean Rooms を使用すると、複数の当事者が機密性の高いエンタープライズデータを共有し、互いのデータに直接アクセスせずにコラボレーションすることができます。また、Delta Sharing とサーバーレスコンピューティングを使用して、セキュリティとプライバシーの保護された環境を提供します。
Databricks Runtime 16.0 が一般提供開始 (GA) です
2024-11-11
Databricks Runtime 16.0およびDatabricks Runtime 16.0 MLが一般提供になりました。
ユーザーへのインパクト
Databricksユーザーに与える影響は、新しい機能や改善が含まれたDatabricks Runtime 16.0が利用可能になり、より効率的で効果的なデータ処理と分析が可能になります。
重大な変更: ホストされたRStudioは、サポート終了となります
2024-11-11
Databricks Runtime 16.0 以降では、Databricks ホストの RStudio サーバーは終了し、Databricks ワークスペースのどれでも使用できなくなりました。詳細と RStudio の代替オプションのリストについては、ホストされた RStudio サーバーの非推奨を参照してください。
ユーザーへのインパクト
Databricksユーザーにとっての影響は、Databricks Runtime 16.0以降では、DatabricksホストのRStudioサーバーが利用できなくなります。Databricksワークスペース内でRStudioを使用することはできなくなり、代替オプションの検討が必要になります。
新しいDatabricksアカウント全てで予測最適化が有効化される
2024-11-11
11月11日、Databricksは、すべての新規 Databricksアカウントに対して、予測最適化をデフォルトで有効にしました。 以前は、デフォルトで無効になっており、管理者アカウントを介して有効にすることができました。 予測最適化が有効になると、DatabricksはUnity Catalogが管理するテーブルのメンテナンス操作を自動的に実行します。 予測最適化の詳細については、Unity Catalogが管理するテーブルの予測最適化を参照してください。
ユーザーへのインパクト
Databricksユーザーに対する影響は、新しいDatabricksアカウントでは、予測最適化がデフォルトで有効化されるようになりました。つまり、Unity Catalogが管理するテーブルのメンテナンス操作が自動的に実行されるようになります。
更新して統一された読み取り専用コードブロック
2024-11-08
新しい読み取り専用コードブロックが、カタログ エクスプローラー、Alerts ページ、Genie で利用できるようになりました。
ユーザーへのインパクト
Databricksユーザーは、カタログエクスプローラー、Alertsページ、Genieで、統一された読み取り専用コードブロックを利用できるようになりました。
クイックフィックスの推奨事項の増加
2024-11-08
Databricks Assistant Quick Fix では、一般的な SQL および Python のエラーのより広範な範囲に対する修正を識別および提案する機能が強化されました。エラー検出が 50% 増加したことで、Quick Fix を使用するとコードのデバッグが速くなります。詳細は、クイック修正を参照してください。
ユーザーへのインパクト
Databricksユーザーは、Databricks Assistantのクイックフィックス機能を使用することで、より多くのSQLおよびPythonエラーの修正を識別し、提案できるようになり、コードのデバッグが速くなります。
Foundation Model APIは、トークン単位で支払う方式が、すべてのModel Serving対応リージョンで利用可能です。
2024-11-07
Foundation Model APIs の pay-per-token ワークロードは、Mosaic AI Model Serving が利用可能なすべてのリージョンでサポートされます。ワークスペースが Model Serving リージョンにありながら、米国または EU リージョンにない場合は、ワークスペースで クロス Geo データ処理 を有効にする必要があります。有効にすると、pay-per-token ワークロードは米国 Databricks Geo にルーティングされます。
ユーザーへのインパクト
Databricksユーザーに対する影響は、Foundation Model APIのトークン単位での支払い方式が全てのModel Serving対応リージョンで利用できるようになり、Mosaic AI Model Servingワークロードがサポートされることです。また、ワークスペースがModel Servingリージョンにありながら米国またはEUリージョンにない場合は、クロスGeoデータ処理を有効にする必要があります。
Unity Catalogを使用したサービス資格情報による外部クラウドサービスへのアクセスガバナンス（パブリックプレビュー）
2024-11-07
サービス資格情報を使用すると、IAM ロールと Unity Catalog を使用してクラウドテナントのサービスでの認証が簡単かつ安全に行えます。サービス資格情報はパブリックプレビュー段階にあり、Databricks Runtime 15.4 LTS 以降でサポートされます。サービス資格情報を使用した外部クラウド サービスのアクセスの管理については、サービス資格情報を使用した外部クラウド サービスのアクセスの管理を参照してください。
ユーザーへのインパクト
このリリースノートによると、Databricksユーザーはサービス資格情報を使用して、IAMロールとUnity Catalogを利用し、クラウドテナントのサービスでの認証を簡単かつ安全に行うことができるようになりました。ただし、これはパブリックプレビュー段階であり、Databricks Runtime 15.4 LTS以降でしか利用できない点に注意が必要です。
Databricks Runtime 14.2 シリーズのサポートが終了します
2024-11-05
Databricks Runtime 14.2とDatabricks Runtime 14.2 for Machine Learningのサポートは11月5日に終了しました。詳細は、Databricksのサポート ライフサイクルを参照してください。
ユーザーへのインパクト
Databricks Runtime 14.2 シリーズのサポートが終了します。Databricks Runtime 14.2とDatabricks Runtime 14.2 for Machine Learningのサポートは11月5日に終了しました。影響を受けるユーザーは、利用可能な最新バージョンにアップグレードする必要があります。
Databricks Assistantは、SQLクエリの最適化を支援します。
2024-10-31
構文警告と /optimize スラッシュコマンドを使用して、SQL クエリの効率を向上させます。最適化はリアルタイムで発生し、実行前に非効率を識別するのに役立ちます。
ユーザーへのインパクト
Databricksユーザーにとってのこの機能の利点は、SQLクエリの最適化がリアルタイムで行われるため、クエリの実行前に非効率な部分を特定して修正できることです。これにより、クエリのパフォーマンスが向上し、リソースの無駄遣いを減らすことができます。
単一ユーザーコンピューティングで詳細なアクセス制御のコスト属性を有効にする
2024-10-31
このリリースには、シングルユーザーコンピュートの細粒度アクセス制御のコスト割り当てを支援する変更が含まれています。この変更により、シングルユーザーコンピュートがデータのフィルタリングを実行するためにサーバーレスコンピュートにクエリを渡した場合、シングルユーザーコンピュートに割り当てられたカスタムタグは継承され、system.billing.usage テーブルに記録されます。詳細は、シングルユーザーコンピュートの細粒度のアクセス制御を参照してください。
ユーザーへのインパクト
シングルユーザーコンピューティング環境で、サーバーレスコンピューティングにクエリを実行する場合、シングルユーザーコンピューティングのコスト属性（カスタムタグ）が正しくsystem.billing.usageテーブルに記録されるようになりました。これにより、より細かいレベルでのコストの追跡と管理が可能になります。
Llama 2 70Bチャットモデルは、Foundation Model APIsのトークン単位課金で提供されなくなりました。
2024-10-30
Foundation Model APIのトークン単位課金エンドポイントでは、Llama 2 70B Chatモデルはサポートされなくなりました。このモデルは現在廃止されたモデルのため、推奨される置き換えモデルをご覧ください。
ユーザーへのインパクト
Llama 2 70Bチャットモデルは、Foundation Model APIsのトークン単位課金で提供されなくなりました。代わりに、推奨される置き換えモデルをご使用ください。
Databricks Runtime 15.1 シリーズのサポート終了
2024-10-30
Databricks Runtime 15.1およびDatabricks Runtime 15.1 for Machine Learningのサポートは10月30日に終了しました。詳細は、Databricksのサポートライフサイクルを参照してください。
ユーザーへのインパクト
Databricks Runtime 15.1とDatabricks Runtime 15.1 for Machine Learningのサポートは2024年10月30日に終了しました。サポートされているバージョンの詳細は、Databricksのサポートライフサイクルを参照してください。
新しいワークスペースにメタストアを自動的に割り当てることを許可する
2024-10-28
アカウント管理者は、同じリージョン内で新しいワークスペースを作成したときに Unity Catalog メタストアを自動的に割り当てるように設定できるようになりました。これにより、Unity Catalog がこれらのワークスペースでデフォルトで有効になります。新しいワークスペースへのメタストアの自動割り当てを有効にする。
ユーザーへのインパクト
この機能によります、ユーザーはワークスペースの作成後に手動でメタストアを割り当てたり、Unity Catalog を有効にしたりする手順を省略できます。ワークスペースが作成されると、自動的にメタストアが割り当てられ、 Unity Catalog が有効化されるため、デプロイと設定が迅速かつ効率的に行えます。
外部ロケーションで暗号化アルゴリズムを設定する
2024-10-28
AWS では、Amazon S3 マネージド キー (SSE-S3) または AWS KMS キー (SSE-KMS) を使用したサーバー側の暗号化 (SSE) が、S3 上のデータの保護に対してサポートされます。S3 バケットで SSE 暗号化を要求する場合、Unity Catalog で外部テーブルと外部ボリュームが S3 バケット内のデータにアクセスできるように、外部ロケーションの暗号化アルゴリズムを構成できます。外部ロケーションで暗号化アルゴリズムを構成する を参照してください。
ユーザーへのインパクト
Databricksユーザーに対する影響は以下のとおりです。
- Unity Catalogで外部ロケーションの暗号化アルゴリズムを設定できるようになりました。
- AWSのS3バケットでサーバー側の暗号化（SSE）を使用してデータを保護できるようになりました。
- 外部テーブルと外部ボリュームがS3バケット内のデータにアクセスできるようになりました。
Mosaic AI モデル サービング (パブリック プレビュー) でサポートされている構造化出力
2024-10-16
構造化された出力は、Foundation Model APIの一部としてMosaic AI Model Servingでサポートされるようになりました。チャットモデルで生成されたレスポンスの形式を指定するためのJSONスキーマを指定できるようになりました。詳細は、Databricksでの構造化出力を参照してください。
ユーザーへのインパクト
Mosaic AIモデルのサービングで構造化された出力がサポートされました。チャットモデルの応答形式を指定するためのJSONスキーマを定義できるようになり、出力結果のフォーマットをより詳細に制御できるようになりました。これにより、チャットモデルを介したデータ処理をより効率化し、統制できます。
単一ユーザーコンピューティングの細粒度アクセス制御が一般提供された
2024-10-16
Databricks Runtime 16.0 以降では、シングル ユーザー コンピューティングに対する細かいアクセス制御が一般に利用できます。サーバーレス コンピューティングを有効にしたワークスペースで、クエリがシングル ユーザー コンピューティングなどのサポート コンピューティングで実行され、クエリが次のオブジェクトのいずれかにアクセスする場合、コンピューティング リソースは、データのフィルタリングを実行するためにサーバーレス コンピューティングにクエリを渡します。
ユーザーへのインパクト
このアップデートは、Databricks Runtime 16.0 以降のシングル ユーザー コンピューティング環境で、より細かいアクセス制御を可能にします。具体的には、サーバーレス コンピューティングを利用しているワークスペースで、クエリがシングル ユーザー コンピューティング環境で実行され、特定のオブジェクトにアクセスする場合、コンピューティング リソースがサーバーレス コンピューティングにクエリを渡してデータのフィルタリングを実行することができます。
このアップデートは、データのセキュリティとアクセス制御を強化するものであり、特定のユーザーがアクセスできるデータをより厳密に制御できるようになります。ユーザーは、シングル ユーザー コンピューティング環境でより細かなアクセス制御を実現し、データのセキュリティを向上させることができます。
EUリージョンでAI関数を利用できるようになりました
2024-10-15
Foundation Model APIを利用したAI関数は、現在、EUリージョンで利用可能です: eu-west-1およびeu-central-1。詳細は、AIおよび機械学習の機能のリージョンごとの提供状況を参照してください。
ユーザーへのインパクト
EUリージョン（eu-west-1およびeu-central-1）でAI関数（Foundation Model API）を利用できるようになりました。Databricksユーザーは、これらのリージョンでAI関数を利用できます。
サーバーレス使用状況をバジェット ポリシーで特定する (パブリック プレビュー)
2024-10-15
サーバーレス請求の属性付けを支援するために、ワークスペース管理者は、ユーザー、グループ、またはサービス プリンシパルに割り当てることができるバジェット ポリシーを作成できるようになりました。バジェット ポリシーでは、ポリシー受領者が発生させたすべてのサーバーレス使用状況にカスタム タグを適用します。これにより、ノートブック、ジョブ、パイプラインのサーバーレス使用状況の粒度の細かい請求属性付けが可能になります。
ユーザーへのインパクト
Databricksユーザーに対する影響としては、以下の点が挙げられます。
- ワークスペース管理者が、ユーザー、グループ、またはサービスプリンシパルに割り当てられるバジェットポリシーを作成できるようになったことにより、コスト管理がより一層細かく実施できるようになりました。
- ポリシーの適用により、ノートブック、ジョブ、パイプラインのサーバーレス使用状況にカスタムタグを付けることができるため、サーバーレス使用状況の請求属性がより詳細になりました。
- これにより、Databricksユーザーは、サーバーレスリソースのコストをより正確に追跡および管理できるようになりました。
対象アカウントでは自動的にサーバーレス コンピューティングが有効化されます。
2024-10-15
Databricks は、Premium プラン以上のアカウントから始めて、ノートブック、ジョブ、Delta Live Tables のサーバーレス計算を、対象となるアカウントでデフォルトで利用できるようにしました。詳細は、サーバーレス コンピューティングに接続するを参照してください。
ユーザーへのインパクト
Premiumプラン以上のDatabricksアカウントでは、ノートブック、ジョブ、Delta Live Tablesのサーバーレスコンピューティングがデフォルトで有効になります。
請求可能使用状況テーブルは、現在ネットワークのコストを属性化します
2024-10-11
課金対象の使用状況システムテーブルには、サーバーレスコンピューティングをリソースに接続した場合に発生するコストを監視するのに役立つフィールドが含まれています。 課金対象の使用状況システムテーブル リファレンス を参照してください。
ユーザーへのインパクト
この変更は、サーバーレスコンピューティングを使用した場合に、ネットワークのコストをより正確に把握できるようになります。これにより、コスト管理と最適化が容易になります。
Databricks アシスタントの自動補完が一般提供開始
2024-10-10
アシスタントの自動補完機能は、入力時にインテリジェントなインライン コードの提案を提供し、コードの入力を迅速かつ効率的に行うのに役立ちます。詳細は、インライン コードの提案を取得する: Python および SQL の例とアナウンスを参照してください。
ユーザーへのインパクト
Databricksユーザーに与える影響は、コード入力をより迅速かつ効率的に行えるようになることです。Databricksアシスタントの自動補完機能により、インテリジェントなインラインコードの提案が入力時に提供されるため、コードの入力時間を短縮し、生産性を向上させることができます。
ノートブックの結果テーブルに適用したフィルターは ahora 保存されます。
2024-10-08
ノートブックの結果テーブルでは、ノートブックを再度開いた場合にフィルターが維持されるようになりました。詳細は、結果のフィルタリングを参照してください。
ユーザーへのインパクト
ノートブックの結果テーブルに適用したフィルターは、ノートブックを再度開いたときにも保存されます。これにより、ノートブックのフィルター設定を保持できるようになりました。
ノートブックのコメントの改善
2024-10-08
ノートブックでのコメントのための UI が改善されており、コメントを追加して検索することが容易になりました。詳細については、コードコメントを参照してください。
ユーザーへのインパクト
ノートブックのコメント機能が改善され、コメントの追加と検索がより簡単になりました。これにより、コラボレーションがよりスムーズになり、ノートブック内でのコミュニケーションが向上します。
Databricks Apps（パブリックプレビュー）を使用して、ユーザー向けのセキュアなデータおよびAIアプリを作成する
2024-10-08
Databricks Apps を使用すると、人気の Python フレームワークを使用して、Databricks プラットフォームで実行され、Databricks プラットフォームのリソースと機能 (ガバナンスの Unity Catalog、データの照会の Databricks SQL、モデルの提供などの AI 機能、およびワークスペースの事前に構成されたセキュリティ ルールなど) を使用するアプリケーションを作成できます。詳細は、Databricks Apps とはを参照してください。
ユーザーへのインパクト
Databrickユーザーに対する影響としては、Databricks Appsを使用することで、PythonフレームワークでセキュアなデータおよびAIアプリケーションを作成できるようになります。Unity Catalogなどのガバナンス機能やDatabricks SQLなどのデータの照会機能、AI機能など、Databricksプラットフォームのリソースを活用できるようになり、事前に構成されたセキュリティルールで安全性が確保されます。
変更したPythonモジュールの読み込みの信頼性の向上とautoreloadの改善
2024-10-08
Databricks Runtime 16.0 以降では、ワークスペース ファイルからインポートされた Python モジュールを再読み込みするときのセキュリティと信頼性を向上させるように、autoreload 拡張機能が更新されました。これらの変更により、autoreload は、可能な場合は、モジュール全体を再読み込みする代わりに、変更されたモジュールの部分のみを再読み込みます。さらに、Databricks は、モジュールが最後のインポート以降に変更された場合、autoreload 拡張機能を使用することを自動的に提案します。詳細については、Python モジュールの autoreload を参照してください。
ユーザーへのインパクト
Databricksユーザーに対する影響は以下の通りです。
- Pythonモジュールの再読み込みがより信頼性が高く、セキュリティ性が向上しました。
- autoreload拡張機能が更新され、変更されたモジュールの部分のみを再読み込みするようになりました。
- autoreload拡張機能を使用することを自動的に提案します。
Databricks Runtime 16.0 (ベータ版)
2024-10-08
Databricks Runtime 16.0とDatabricks Runtime 16.0 MLがベータ版として提供開始されました。
ユーザーへのインパクト
Databricksユーザーに対する影響は、新しいバージョンのDatabricks Runtime (16.0) とDatabricks Runtime for ML (16.0) がベータ版として利用可能になったことです。ベータ版は新しい機能や改善点を含みますが、完全にテストされておらず、安定性やパフォーマンスに影響する可能性があります。ユーザーはこれらの新しいランタイムをテストし、フィードバックを提供することができます。
モザイク AI モデル サービスでは、バッチ推論がサポートされるようになりました
2024-10-08
Mosaic AI Model Serving では、ai_query を使用したバッチ LLM 推論がサポートされます。詳細については、ai_query を使用したバッチ LLM 推論の実行 を参照してください。
ユーザーへのインパクト
Databricksユーザーに対する影響は、Mosaic AI Model Servingでバッチ推論を使用できるようになり、効率的なAIワークロードの実行が可能になることです。
Salesforce 統合コネクタの簡素化
2024-10-07
Salesforce インジェスト コネクタで、以前は手動で設定が必要だったソースの設定を自動化するようになりました。簡素化された Salesforce インジェスト プロセスについては、Salesforce からデータをインジェストする を参照してください。
ユーザーへのインパクト
この変更は、DatabricksユーザーがSalesforceからデータを簡単に取り込むことができるようになります。手動設定が不要になったため、作業が効率化され、エラーのリスクが軽減されます。
サーバーレスコンピューティングをサポートした odp への準拠セキュリティプロファイル
2024-10-03
コンプライアンス セキュリティ プロファイルは、サーバーレス SQL ウェアハウス、ノートブックとワークフロー用のサーバーレス コンピュート、およびサーバーレス DLT パイプラインと共に、より多くのリージョンとコンプライアンス規格でサポートされます。 セキュリティが強化されたコンピュート リソース と サーバーレス コンピュートの可用性を含むコンプライアンス セキュリティ プロファイルのコンプライアンス規格 を参照してください。
ユーザーへのインパクト
Databricks ユーザーは、より多くのリージョンとコンプライアンス規格で、サーバーレスコンピューティングを使用したセキュリティプロファイルに準拠したコンプライアンス セキュリティ プロファイルを利用できるようになりました。これにより、サーバーレス SQL ウェアハウス、ノートブックとワークフロー、サーバーレス DLT パイプラインでより高いセキュリティとコンプライアンスが提供されます。
サーバーレスコンピューティングは、現在、eu-west-2 リージョンで利用可能です。
2024-10-02
ノートブック、ワークフロー、Delta Live Tables 用のサーバーレス コンピューティングが、eu-west-2 リージョンで利用できるようになりました。詳細は、サーバーレス コンピューティングに接続するを参照してください。
ユーザーへのインパクト
eu-west-2 リージョンでサーバーレスコンピューティングが利用できるようになりましたので、ノートブック、ワークフロー、Delta Live Tables でサーバーレスコンピューティングを使用できるようになります。
外部モデルは、Amazon Bedrock用のインスタンスプロファイルをサポートするようになりました。
2024-09-30
外部モデルは、Amazon Bedrock からモデルを使用する場合に AWS リソースにアクセスするためのインスタンス プロファイルをサポートします。詳細は、エンドポイントのプロバイダーを構成するを参照してください。
ユーザーへのインパクト
外部モデルでAmazon Bedrockを使用する場合、AWSリソースへのアクセスにインスタンスプロファイルがサポートされるようになりました。
Meta Llama 3.2 3Bおよび1Bモデルは、Foundation Model Fine-tuningでサポートされています。
2024-09-25
Meta Llama 3.2 3BモデルとMeta Llama 3.2 1Bモデルは、Foundation Model Fine-tuningでサポートされます。詳細については、サポート対象モデルを参照してください。
ユーザーへのインパクト
Databricksユーザーに対する影響は、より幅広いモデルを利用できるようになったことです。具体的には、Meta Llama 3.2 3BモデルとMeta Llama 3.2 1BモデルがFoundation Model Fine-tuningでサポートされるようになったため、ユーザーはこれらのモデルをFine-tuningに使用できます。
緊急アクセスでは、シングルサインオンは必要ありません
2024-09-25
ロックアウトを防ぐために、管理者は、シングルサインオンが設定されていなくても、最大20人のユーザーに対して緊急アクセスを設定できます。これらのユーザーは、FIDO 2セキュリティ キー (YubiKey など) またはモバイル認証アプリを使用したマルチファクタ認証でDatabricksにサインインできます。詳細については、ロックアウトを防ぐための緊急アクセスを参照してください。
ユーザーへのインパクト
Databricksユーザーに対する影響は、ロックアウトを防ぐためにシングルサインオンの設定が不要になります。最大20人のユーザーに対して緊急アクセスを設定でき、FIDO 2セキュリティキーまたはモバイル認証アプリを使用してマルチファクタ認証でDatabricksにサインインできます。
Meta Llama 3.1 405B インストルクトがDatabricks Function Callingでサポートされるようになりました。
2024-09-25
Meta Llama 3.1 405B Instructが Databricks Function Calling でサポートされるようになりました。
ユーザーへのインパクト
このリリースノートは、DatabricksのFunction Calling機能でMeta Llama 3.1 405Bインストルクトモデルがサポートされたことを示しています。このモデルは、高度なテキスト生成と理解能力を持つ大規模言語モデルです。
Databricksユーザーに対する影響としては、次のような点が挙げられます。
- Databricksユーザーは、より高精度なテキスト生成やテキスト分析タスクを実行できるようになります。
- Function Calling機能を使用して、Meta Llama 3.1 405Bインストルクトモデルを簡単に呼び出し、さまざまなアプリケーションに統合できるようになります。
- このモデルのサポートにより、Databricks上でのAIや機械学習の活用がさらに拡大し、より幅広いユースケースが可能になるでしょう。
ベクトル検索（vector_search）がすべての顧客に公開プレビューとして利用可能になりました
2024-09-25
vector_search() のパブリックプレビューが、モザイク AI ベクターサーチをサポートしているリージョンのすべての顧客に利用できるようになりました。顧客は、以降、アクセスをリクエストする必要はありません。
ユーザーへのインパクト
ベクトル検索（vector_search）がDatabricksのすべての顧客に公開プレビューとして利用可能になりました。つまり、特定のリージョンで利用可能なベクトル検索機能を利用するために、事前にアクセスをリクエストする必要はなくなりました。
Meta Llama 3.2 3B および 1B モデルは Model Serving でサポートされています。
2024-09-25
Meta Llama 3.2 3B および Meta Llama 3.2 1B モデルは、Foundation Model API のプロビジョニングされたスループットでサポートされます。
ユーザーへのインパクト
Databricksユーザーに対する影響は、次のとおりです。
- メタ Llama 3.2 3B および 1B モデルが Model Serving でサポートされたことで、より大規模なモデルを使用できるようになり、高度なテキスト分析や生成タスクが可能になります。
- これらのモデルは Foundation Model API のプロビジョニングされたスループットでサポートされているため、ユーザーはモデルを簡単にプロビジョニングして利用でき、効率的なモデル管理が可能になります。
プロトタイプを作成し、AI Playgroundでツール呼び出しGenAIエージェントをエクスポートする
2024-09-24
AI Playgroundを使用して、プロトタイプを作成、構築し、ツールを呼び出すGenAIエージェントをエクスポートします。現在、Unity Catalog機能の形式のツールをAIエージェントに提供し、AI Playgroundでエージェントと直接対話できます。
ユーザーへのインパクト
Databricksユーザーに対する影響は、以下の点が挙げられます。
- AI Playgroundを利用してプロトタイプを作成し、GenAIエージェントと直接対話できるようになりました。
- ツール呼び出しが可能なGenAIエージェントをエクスポートできるようになりました。
- Unity Catalog機能の形式のツールをAIエージェントに提供できるようになりました。
Power BI への公開が一般に利用可能になりました
2024-09-24
「Power BI に発行」機能が一般提供されました。この機能により、ユーザーは Databricks のテーブル/スキーマからシームレスにセマンティック モデルを作成し、それを直接 Power BI サービスに発行できます。
ユーザーへのインパクト
Power BIへの公開機能が一般提供されました。Databricksのテーブルやスキーマからセマンティックモデルを作成し、Power BIサービスに直接公開することができるようになりました。これにより、DatabricksユーザーはPower BIを使ってデータを可視化し、分析し、共有できるようになります。
Databricks Assistant のプロンプトでテーブルを参照するには、@ を使用します。
2024-09-24
Assistant のプロンプトでテーブルをすばやく参照するには、@ 記号を使用します。詳細は、@ を使用してプロンプトでテーブルを参照するを参照してください。
ユーザーへのインパクト
この機能は、DatabricksユーザーがAssistantのプロンプト内でテーブルを参照するためのショートカットを提供します。ユーザーは、@ 記号を使用して簡単にテーブルを参照できます。これにより、より効率的なワークフローとデータ分析が可能になります。
Unity Catalog の外部データへのアクセスを、新しいEXTERNAL USE SCHEMA 権限を使用して制御する
2024-09-18
新しい EXTERNAL USE SCHEMA 権限により、Iceberg クライアントまたは Microsoft Fabric のような外部処理エンジンが Unity Catalog のオープン API または Iceberg API を使用してデータにアクセスする場合、Unity Catalog のデータへのアクセスを制限できます。詳細は、Unity Catalog のデータへの外部アクセスの制御を参照してください。
ユーザーへのインパクト
この機能は、Unity Catalogのデータへのアクセスを外部処理エンジンに対して制限できるようになりました。EXTERNAL USE SCHEMA権限を使用することで、IcebergクライアントやMicrosoft Fabricなどの外部処理エンジンがUnity Catalogのデータにアクセスする際の権限を設定できます。これにより、データのセキュリティとガバナンスが強化されます。
GTE v1.5（英語）埋め込みモデルは、Foundation Model APIがプロビジョニングしたスループットでサポートされるようになりました。
2024-09-13
Foundation Model APIでプロビジョニングされたスループット は、GTE v1.5 (英語) モデルをサポートします: gte-base-en-v1.5 と gte-large-en-v1.5。
ユーザーへのインパクト
これは、GTE v1.5（英語）埋め込みモデルがFoundation Model APIでプロビジョニングされたスループットでサポートされるようになったことを意味します。つまり、Databricksユーザーは、より高性能で安定したモデル処理を利用できるようになりました。
Databricks Assistant Quick Fix はコード内のデバッグを行います。
2024-09-12
Assistant Quick Fixは、実行中のコードがエラーを返したときに、シングルライン修正を推奨します。修正を受け入れてコードの実行を続行します。
ユーザーへのインパクト
これは、Databricksユーザーにとって非常に便利な機能です。開発効率が向上するはずです。
AI Gateway がパブリック プレビューになりました
2024-09-09
Mosaic AI Gateway は、パブリック プレビューとなりました。これは、組織内での生成 AI モデルの使用と管理を簡素化する中央サービスです。
ユーザーへのインパクト
Databricksユーザーに対する影響は、以下の点が挙げられます。
- Mosaic AI Gateway のパブリックプレビューの開始により、組織内での生成 AI モデルの使用と管理が簡素化されます。
- ユーザーは、AI モデルのデプロイ、管理、セキュリティを一元的に管理できることが期待されます。
- これにより、データ分析と AI モデルの統合が進むとともに、AI モデルの管理コストが削減され、AIモデルの利用が促進される可能性があります。
Meta Llama 3.1 70B および 8B モデルが Foundation Model Fine-tuning でサポートされる
2024-09-09
Foundation Model Fine-tuning では、Meta Llama 3.1 70B および Meta Llama 3.1 8B モデルがサポートされます。詳細は、サポート対象モデルを参照してください。
ユーザーへのインパクト
Databricksユーザーは、Foundation Model Fine-tuning機能でMeta Llama 3.1 70Bおよび8Bモデルを使用できるようになりました。これにより、より幅広いモデル選択肢が提供され、大規模言語モデルを微調整するための柔軟性が高まります。
拡張AI生成コメントのサポート
2024-09-06
AI によって生成されたコメントのサポートでは、テーブルやテーブル列に加えて、カタログ、スキーマ、関数、モデル、およびボリュームもサポートされるようになりました。インライン アシスタントを使用すると、カタログ エクスプローラーでコメントを編集できます。Unity Catalog オブジェクトに AI によって生成されたコメントを追加する
ユーザーへのインパクト
Databricksユーザーに対する影響は、テーブルやテーブル列だけでなく、カタログ、スキーマ、関数、モデル、およびボリュームに対してもAIによって生成されたコメントを追加できるようになったことです。さらに、インラインアシスタントを使用することで、カタログエクスプローラーでコメントを編集できるようになりました。これにより、より詳細で包括的なデータのドキュメントと説明が可能になります。
課金対象の使用状況テーブルでクリーンルームの使用状況を監視する
2024-09-05
system.billing.usageテーブルに、usage_metadata.central_clean_room_id値が追加され、クリーンルームの使用によるコストを監視できるようになりました。詳細については、課金対象の使用状況システムテーブル リファレンスを参照してください。
ユーザーへのインパクト
クリーンルームの使用状況を更に細かく監視できるようになりました。課金対象の使用状況テーブル（system.billing.usage）に、クリーンルームID（usage_metadata.central_clean_room_id）が追加されました。これにより、Databricksユーザーはクリーンルームの使用状況に基づくコストをより正確に把握できるようになります。
Visual Studio Code 向け Databricks 拡張機能が GA になりました
2024-09-04
Visual Studio Code用のDatabricks拡張機能が一般提供されました。この拡張機能を使用すると、Visual Studio CodeからリモートのDatabricksワークスペースに接続し、Databricks Asset Bundleを簡単に定義してデプロイして実行したり、ノートブックをデバッグしてジョブとして実行したり、クラスターでファイルを実行してジョブとして実行したり、ローカルのコードをワークスペースに同期したり、すべてVSCode IDEから行うことができます。
ユーザーへのインパクト
このリリースノートは、Databricksユーザーに対して以下のような影響があります。
- Visual Studio Codeから直接Databricksワークスペースにアクセスできるようになり、開発の効率が向上します。
- Databricks Asset Bundleの定義、デプロイ、実行が容易になり、ワークフローの簡素化が期待できます。
- ノートブックのデバッグとジョブとしての実行、およびクラスターでのファイルの実行とジョブとしての実行が、より直感的かつ効率的に行えるようになります。
- ローカル環境とDatabricksワークスペースの同期が容易になり、開発環境とプロダクション環境の整合性が保たれます。
関数の呼び出しは、Foundation Model APIで提供されたスループットでサポートされるようになりました。
2024-09-03
Foundation Model APIでプロビジョニングされたスループットでOpenAIと互換性のある関数呼び出しが可能になりました。このリリースでは、プロビジョニングされたスループットのワークロードでLlama 3.1 8B Instructモデル用の関数呼び出しサポートも含まれています。
ユーザーへのインパクト
この更新により、Databricksユーザーは、Foundation Model APIで提供されたスループットを使用して関数呼び出しを実行できるようになりました。これにより、OpenAIと互換性のある関数呼び出しを実行でき、Llama 3.1 8B Instructモデルにも対応します。つまり、ユーザーはより効率的かつ柔軟にモデルを利用できるようになり、AIワークロードの処理が向上します。
Foundation Model API（トークンごとに課金）は、eu-central-1 と eu-west-1 でご利用いただけます。
2024-09-03
Foundation Model API のトークン単位の課金は、eu-central-1およびeu-west-1で利用できるようになりました。詳細は、モデル提供機能のリージョン対応状況を参照してください。
ユーザーへのインパクト
Databricksユーザーに対する影響は、ヨーロッパ地域（eu-central-1およびeu-west-1）でのFoundation Model APIの利用が可能になり、モデル提供機能のリージョン対応状況を確認できるようになったことです。
システムテーブルは現在一般に入手できるようになっている
2024-09-03
Databricksのシステムテーブルプラットフォームが一般提供されました。このリリースには、system.billing.usageとsystem.billing.list_priceテーブルのGAリリースも含まれます。詳細は、システムテーブルを使用したアカウント活動の監視を参照してください。
ユーザーへのインパクト
システムテーブルが一般に入手できるようになりました。これにより、ユーザーはアカウントの使用状況と請求情報をより詳細に把握できるようになります。また、system.billing.usageとsystem.billing.list_priceテーブルが一般提供され、 Daha詳細な請求情報の取得が可能になりました。
リソースクォータ API を使用して、Unity Catalog オブジェクトの使用状況をクォータに対して監視する
2024-08-30
新しいリソースクォータ API を使用すると、Unity Catalog のセキュリティ対象オブジェクトのリソース クォータに対する使用状況を監視できます。近日、クォータの制限に近づいたときにメール通知を受け取ることもできます。詳細は、Unity Catalog リソースクォータの使用状況を監視すると リソース クォータ API リファレンスを参照してください。
ユーザーへのインパクト
Databricksユーザーが主に気にするべき点は、リソースクォータAPIを使用してUnity Catalogオブジェクトの使用状況をより効率的に監視できるようになったことです。特に、セキュリティ対象オブジェクトのリソースクォータに対する使用状況を監視でき、クォータの制限に近づいたときにメール通知を受け取ることも可能になりました。これにより、リソースの使用状況をより厳密に管理でき、予期せぬリソース枯渇を事前に発見して対処できるようになります。
MPT 7B Instruct と MPT 30B Instruct モデルの引退
2024-08-30
MPT 7B InstructモデルおよびMPT 30B Instructモデルのサポートは終了しました。サポート終了モデルを参照して、推奨される置き換えモデルを確認してください。
ユーザーへのインパクト
MPT 7B InstructモデルとMPT 30B Instructモデルのサポートが終了したため、これらのモデルは使用できなくなりました。代わりに、「サポート終了モデル」を参照して、推奨される代替モデルの情報を確認してください。
AskSupportがDatabricksアシスタントに置き換えられました。
2024-08-29
SlackベースのサポートチャンネルであるAskSupportは、Databricks Assistantに置き換えられました。これは、ご利用のDatabricksワークスペースでご利用いただけます。Databricks Assistantを使用して、テクニカルドキュメントを検索、新しいチケットを作成、コンテキスト対応のサポートを受けます。
ユーザーへのインパクト
Databricksユーザーは、サポートに関する問い合わせをSlackベースのサポートチャンネル「AskSupport」ではなく、Databricksワークスペース内の「Databricks Assistant」を使用するようになりました。Databricks Assistantでは、テクニカルドキュメントの検索、新しいチケットの作成、コンテキスト対応のサポートを受けることができます。
Pythonコードのフォーマットエラーの強調表示
2024-08-23
ノートブックおよびファイル エディターの Python コードでは、予期しないインデント、長い行の長さなど、フォーマットのエラーと警告を強調表示できます。詳細は、Python のフォーマットの強調表示を参照してください。
ユーザーへのインパクト
この機能により、Databricks のノートブックやファイルエディターで Python コードのフォーマットに関するエラーや警告が強調表示されるため、コードの維持性と読みやすさが向上します。フォーマッティングの問題をすばやく特定して修正できるようになります。
Lakeflowシステムテーブルは、追加の列で拡張されます。
2024-08-23
system.lakeflow スキーマのテーブルに、追加の列が追加されています。次の変更を行います。
ユーザーへのインパクト
これは、Lakeflowシステムテーブルに新しい列が追加されたことを示しています。Databricksユーザーに対する影響は、Lakeflowシステムテーブル内のデータの分析と操作が拡張されることです。ユーザーは、新しい列を使用してさらに詳細な分析を行ったり、より複雑なワークフローを設計したりできるようになります。ただし、既存のワークフローやクエリを更新する必要があるかもしれません。
Databricks on AWS GovCloud は теперь 一般提供 (GA) です
2024-08-22
AWS GovCloud は、米国政府の顧客とそのパートナーが FedRAMP ハイベースライン、およびその他のコンプライアンス基準に対応したセキュアなクラウド ソリューションを設計するための柔軟性を提供します。AWS GovCloud 上の Databricks では、コンプライアンスとセキュリティの制御を持った AWS GovCloud 内に展開された Databricks プラットフォームが提供されます。詳細については、AWS GovCloud での Databricksを参照してください。
ユーザーへのインパクト
米国政府の顧客およびそのパートナーは、FedRAMP ハイベースラインおよびその他のコンプライアンス基準に対応したセキュアなクラウド ソリューションを設計するための柔軟性を提供する AWS GovCloud で、Databricks を使用できます。Databricks on AWS GovCloud では、コンプライアンスとセキュリティの制御を持った AWS GovCloud 内に展開された Databricks プラットフォームが提供されます。
Databricks のジョブはそれぞれのタスクに対して GA です
2024-08-21
For each タスクが 一般公開になりました。 For each タスクを使用して、他のタスクをループで実行し、タスクの各反復に異なるパラメーターのセットを渡すことができます。 For each タスクは、Notebook、JAR、Python スクリプト、SQL タスクなどの標準的なジョブ タスクのいずれかをループ実行できます。詳細については、ループでパラメーター化された Databricks ジョブ タスクを実行するを参照してください。
ユーザーへのインパクト
Databricksユーザーはジョブの実行にFor eachタスクを利用できるようになり、ジョブの実行をより効率化できるようになります。“For each”タスクを使用すると、ループでジョブタスクを実行し、各タスクの実行に異なるパラメータを渡すことができるため、ジョブの実行を柔軟に制御できます。また、Notebook、JAR、Python スクリプト、SQL タスクなどの標準的なジョブ タスクをループ実行できるため、さまざまなジョブ シナリオに対応できます。
Delta Sharing では、TimestampNTZ がサポートされる
2024-08-21
Delta Sharingは、Databricks Runtime 14.1以降およびオープンソースのDelta Sharing Apache Sparkコネクター3.3以降でTimestampNTZをサポートします。
ユーザーへのインパクト
Delta Sharing で TimestampNTZ がサポートされたことによる、Databricks ユーザーに対する影響は以下の通りです。
- Delta Sharing を使用してデータを共有する場合、TimestampNTZ 型のデータが正しく共有されるようになります。
- Delta Sharing で TimestampNTZ 型のデータを使用するには、Databricks Runtime 14.1 以上、またはオープンソースの Delta Sharing Apache Spark コネクター 3.3 以上を使用する必要があります。
- 以前のバージョンの Databricks Runtime または Apache Spark コネクターを使用している場合、TimestampNTZ 型のデータの共有に問題が発生する可能性があります。
Delta Sharing: PythonとPower BIコネクタでサポートされるDelta Lakeの機能が拡張されました
2024-08-21
Delta Sharing Python コネクター 1.1.0 以降 と Power BI v2.132.908.0 以降では、次の機能がサポートされます。
ユーザーへのインパクト
Delta Sharing の Python コネクターと Power BI コネクターでサポートされる Delta Lake の機能が拡張されました。Python コネクター 1.1.0 以降と Power BI v2.132.908.0 以降では、以前よりも多くの Delta Lake 機能が利用可能になりました。
Databricks Runtime 15.4 LTS は GA です。
2024-08-19
Databricks Runtime 15.4 LTSおよびDatabricks Runtime 15.4 LTS MLが一般提供開始されました。
ユーザーへのインパクト
Databricksユーザーに対する影響は、以下の点が挙げられます。
- Databricks Runtime 15.4 LTSとDatabricks Runtime 15.4 LTS MLが一般提供開始されたため、ユーザーはこれらのランタイムを利用できるようになりました。
- これらのランタイムには、新機能や改良点が含まれている可能性があり、ユーザーは最新の機能を利用できます。
- LTS (Long Term Support) であるため、安定したサポートとメンテナンスが提供され、ユーザーは長期的な利用を予定してシステムやアプリケーションを構築できます。
パーソナライズしたノートブックの自動補完てきとぐ
2024-08-19
ノートブックの自動補完機能は、個々のユニティーキャタログのメタデータと使用状況に基づいて候補を優先順位付けし、各ユーザーにカスタマイズされた候補のランキングを提供するようになりました。詳細は、パーソナライズされた自動補完
ユーザーへのインパクト
この変更は、Databricksユーザーがノートブックでコードをより効率的に記述できるように支援するものです。ユーザーがコードを入力するとき、システムはそのユーザーの過去の使用状況や、ノートブック内のユニティーキャタログのメタデータを考慮して、より関連性の高い候補を優先的に表示します。これにより、ユーザーはより迅速かつ正確にコードを入力でき、開発プロセスの生産性が向上することが期待できます。
ワークスペースのジョブの計算の既定のアクセス モードを構成する
2024-08-16
ワークスペース管理者は、ワークスペースのジョブのコンピュートのデフォルトのアクセスモードを設定できるようになりました。このデフォルトのアクセスモードは、定義されたアクセスモードのないコンピュートリソースに適用されます。詳細については、ジョブのコンピュートのデフォルトのアクセスモードを参照してください。
ユーザーへのインパクト
ワークスペース管理者は、ジョブ用のコンピュートの既定のアクセスモードを設定できます。これにより、特定のアクセスモードが定義されていないコンピュートリソースにデフォルトのアクセスモードを適用できます。
ワークスペース検索では、ボリュームがサポートされるようになりました。
2024-08-14
ボリュームが検索結果に含まれるようになりました。詳細については、ワークスペース オブジェクトを検索するを参照してください。
ユーザーへのインパクト
ワークスペース オブジェクトの検索でボリュームがサポートされるようになりました。検索結果にボリュームが表示されるようになりましたので、ワークスペース内のリソースの検索がより効率的に行えるようになりました。