4
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Databricksリリースノート(毎日更新)

Last updated at Posted at 2024-12-14

Databricksのリリースノートをスクレイピングし、生成AIによる翻訳を行い、ユーザーへのインパクトを説明する文を生成しています。すべての処理は自動で行われています。

注意
ドキュメントサイトのアップデートがあったので更新を一旦停止しています

注意
翻訳やインパクトの説明文は生成AIによるものですので、詳細は原文を確認ください。

サーバーレス コンピューティングで、インスタンス プロフィールを使用したデータへのアクセスが可能になりました。

2025-02-12

ワークスペースのサーバーレス計算リソースは、 dữ を使用してデータにアクセスできるようになりました。以前、この設定は、ワークスペースのSQL倉庫にインスタンスプロファイルへのアクセス権を与えるために使用されましたが、今はサーバーレス計算およびSQL倉庫の両方に適用されます。詳細については、データアクセスコンフィギュレーションを参照してください。

ユーザーへのインパクト

サーバーレス コンピューティングで、インスタンス プロフィールを使用したデータへのアクセスが可能になりました。ワークスペースのサーバーレス計算リソースは、データにアクセスできるようになりました。この機能により、サーバーレス計算におけるデータへのアクセスが効率化され、ワークスペースの管理とセキュリティが強化されます。

Databricks Runtime 16.2 が GA になりました。

2025-02-10

Databricks Runtime 16.2およびDatabricks Runtime 16.2 MLが一般提供されました。

Databricks Runtime 16.2およびDatabricks Runtime 16.2 for Machine Learningを参照してください。

ユーザーへのインパクト

Databricks Runtime 16.2 および Databricks Runtime 16.2 ML が一般提供になりました。最新の機能や修正点については、 ریリースノートを参照してください。

UnityCatalogによるサービス資格情報を使用した外部クラウドサービスへのアクセスの管理が全アクセス可能(GA)になりました

2025-02-07

サービス資格情報を使用すると、Databricks からクラウドテナントのサービスとシンプルかつ安全に認証できます。 サービス資格情報は一般提供されています。 かつ、パブリック プレビューでサポートされている Python SDK に加えて、Scala SDK もサポートします。 完全に GA された機能を使用するには、Databricks Runtime 16.2 以上でコンピューティングする必要があります。詳細については、サービス資格情報を使用して外部クラウド サービスへのアクセスを管理する

ユーザーへのインパクト

Databricksユーザーは、UnityCatalogのサービス資格情報を使用してクラウドテナントのサービスに安全にアクセスできるようになりました。
サービス資格情報は、クラウドサービスへのアクセスをシンプルかつ安全に管理するために使用でき、PythonとScalaの両方のSDKでサポートされています。ただし、Databricks Runtime 16.2以上でコンピューティングする必要があります。

共有アクセスモードのコンピュート上でのScalaストリーミングのforeach、foreachBatch、およびflatMapGroupsWithStateのサポート

2025-02-07

共有アクセス モードのコンピューティングが、Databricks Runtime 16.1 以降で Scala ストリーミング関数 DataStreamWriter.foreach をサポートするようになりました。 Databricks Runtime 16.2 以降では、関数 DataStreamWriter.foreachBatchKeyValueGroupedDataset.flatMapGroupsWithState がサポートされます。

ユーザーへのインパクト

これは、Databricks Runtime の更新に関するリリースノートのようです。具体的には、共有アクセス モードのコンピューティングにおける Scala ストリーミング関数のサポートを強化したという内容です。

Databricks ユーザーに対する影響は以下の点が考えられます。

  • 情報の活用: Databricksユーザーは、共有アクセス モードのコンピューティングで、Scala ストリーミングのforeachforeachBatch、およびflatMapGroupsWithState関数を利用することができるようになりました。これにより、数々の処理オプションが増え、より複雑なデータ処理タスクをより効率的に行うことができるようになります。
  • バージョン要件: foreach関数はDatabricks Runtime 16.1以降、foreachBatchflatMapGroupsWithState関数はDatabricks Runtime 16.2以降でサポートされるため、ユーザーは自分の環境のバージョンを確認し、そこに応じてアップグレードする必要があるかもしれません。
  • 共有アクセス モードの利点: 共有アクセス モードでこれらの関数を使用することで、共同作業やコラボレーションの効率性が向上する可能性があります。複数のユーザーやワークロードをより管理しやすくし、リソースの利用率を向上させることができるからです。

以上の点から、Databricks ユーザーが Scala ストリーミング API の新しい機能を活用し、データ処理タスクのパフォーマンスと効率を向上させることが期待できます。ただし、自分の環境のバージョンと互換性を確認し、適切なアップグレードと設定を行うことが重要です。

エクセルとしてダウンロードは、SQLウェアハウスに接続されているノートブックでサポートされるようになりました。

2025-02-06

SQL ウェアハウスに接続されたノートブックの場合、表形式のデータを含むセルの結果を Excel ファイルとしてダウンロードできます。詳しくは、結果のダウンロードを参照してください。

ユーザーへのインパクト

この更新により、Databricks ユーザーは SQL ウェアハウスに接続されたノートブックで表形式のデータを含むセルの結果をエクセルファイルとしてダウンロードできるようになりました。これは、データの分析やレポート作成の際に便利です。

Delta Live Tables@show_name 韓 s roar DDghanfour birPublic-review) を使用してパイプラインのデータを外部サービスに書き出す

2025-02-05

Delta Live Tables の sink API はパブリック プレビュー中です。Delta Live Tables シンクを使用すると、Apache Kafka または Azure Event Hubs などのイベント ストリーミング サービス、および Unity Catalog または Hive メタストアによって管理される外部テーブルなどのターゲットに、パイプラインによって変換されたデータを書き込むことができます。詳細については、Delta Live Tables シンクを使用した外部サービスへのレコードのストリーミング を参照してください。

ユーザーへのインパクト

Delta Live Tables の sink API を使用すれば、Delta Live Tables を使用したパイプラインのデータを Apache Kafka、Azure Event Hubs、Unity Catalog、Hive メタストアなどの外部サービスに書き出すことができます。これにより、変換されたデータをこれらのサービスにストリーミングできます。

4
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
4
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?