こんにちは！株式会社マクニカでDatabricksのエンジニアをしています。@satoshy2です。
Databricksとは？（マクニカ紹介ページ）

2025年6月27日までにリリースノートでリリースがアナウンスされている新機能をいくつかご紹介します。先週は10個と多くのアップデートがありました。

1. Delta Sharing経由でDatabricks管理のIcebergテーブルを共有（パブリックプレビュー）

リリース日：2025/06/23

Delta Sharingを使用して、Databricks間共有、およびオープン共有でマネージドIcebergテーブルを共有できるようになりました（パブリックプレビュー）。

■要件
必要な権限：

共有オブジェクトの所有者であること
管理対象の Iceberg テーブルを含むカタログとスキーマにUSE CATALOG と USE SCHEMA 権限、
管理対象の Iceberg テーブルに SELECT 権限を維持

制限事項：Iceberg テーブルと管理 Iceberg テーブルの制限が適用されます。

■設定例

Databricks ワークスペースで、[データアイコン。カタログ] をクリックします。
[カタログ ] ウィンドウの上部にある [歯車のアイコン。] 歯車アイコンをクリックし、[ Delta Sharing ] を選択します。
または、[ クイックアクセス ] ページで [Delta Sharing > ] ボタンをクリックします。
[ 自分が共有 ] タブで、マネージド Iceberg テーブルを追加する共有を見つけて、その名前をクリックします。
[ アセットの管理 ] > [ アセットの編集 ] をクリックします。

詳細は以下を確認してください。

2. モデルサービングエンドポイントに対するカスタムレート制限

リリース日：2025/06/23

AI Gatewayを使用することでモデルサービングエンドポイントに対してカスタムレート制限を設定することができるようになりました。
※今までは外部モデルに対してのみレート制限を設定することができました。

また、以下に対して個別にレート制限を設定することが可能になりました。

エンドポイント：個々の制限やユーザーグループの制限に関係なく、エンドポイントを通過するすべてのトラフィックの全体的なレート制限を指定します。
ユーザー：エンドポイントのすべてのユーザーに対するレート制限を指定します。
特定のユーザー：エンドポイントの特定のユーザーに対するレート制限を指定します。
ユーザーグループ：特定のユーザーグループのレート制限を指定します。この制限は、グループの全メンバーで共有されます。
サービスプリンシパル：特定のサービスプリンシパルからのレート制限を指定します。

詳細は、モデルサービングエンドポイントでの AI Gateway の構成を確認してください。

3. Lakeflow宣言型パイプラインをレガシー発行モードから現在のデフォルト発行モードに移行

リリース日：2025/06/23

Lakeflow宣言型パイプラインのレガシー発行モードでは1つのカタログとスキーマに対してだけストリーミングテーブルやマテリアライズドビューの作成が可能でしたが、現在のデフォルト発行モードでは複数のカタログやスキーマに対して作成が可能になっています。レガシー発行モードから現在のデフォルト発行モードへの移行については以下を確認してください。

■ 設定方法の概要

移行するパイプラインを Databricks UI で開きます。
更新を停止し、現在実行中のパイプラインを停止させます。
パイプラインがアイドル状態になったら、パイプラインの設定に移動します。
必要に応じて、移行が必要なコードを準備します。
デフォルト発行モードは、通常レガシー発行モードと下位互換性がありますが、アップグレード時にパイプラインコードが正しく実行されるように、パイプラインを適切に準備してください。ほとんどのパイプラインでは、変更は必要ありません。
パイプラインの設定の中の設定で次を追加します。キー：pipelines.enableDPMForExistingPipeline、値：true
手動更新を開始し、更新が完了するまで待ちます。
パイプライン設定の JSON ページに移動します。targetフィールドを見つけて、schemaに置き換えます(同じ値を維持します)。

詳細は、パイプラインでデフォルトパブリッシングモードを有効にするを確認してください。

4. DatabricksからオープンソースDelta SharingへのOIDCフェデレーションが正式リリース

リリース日：2025/06/24

Delta Sharingに Open ID Connect (OIDC) フェデレーションを使用する機能が正式リリースされました。
受信者が自分の IdP からの JSON Web トークン (JWT) を、安全なフェデレーション認証のための一時的な OAuth トークンとして使用できるようになりました。

■ 設定方法の概要

OIDC フェデレーション受信者の作成
OIDC フェデレーションポリシーの作成
受信者に共有へのアクセス権を付与

OIDCフェデレーションとは？
OpenID Connect（OIDC）を使用したユーザー認証を連携させる仕組みです。これによりユーザーは1度の認証で複数のサービスにアクセスできるようになります。

詳細は、Open ID Connect (OIDC) フェデレーションを使用して、Delta Sharing 共有 (オープン共有) への認証を有効にしますを確認してください。

5. ai_parse_document()を使用したドキュメントの解析（ベータ版）

リリース日：2025/06/25

Databricks Foundation Model API から最先端の生成 AI モデルを呼び出して、非構造化ドキュメントから構造化コンテンツを抽出する AI Function の ai_parse_document() がベータ版としてリリースされました。

■ 要件

対応リージョン：us-east-1、us-west-2
Databricksランタイム：16.4 LTS 以上
サーバレスの場合：
- 環境バージョン：2
- 使用言語：Python、SQL

■ サポート対象ファイル

PDF
JPG/JPEG
PNG

■ ai_parse_document()を使用したコード例

SQL

WITH corpus AS (
  SELECT
    path,
    ai_parse_document(content) AS parsed
  FROM
    READ_FILES('/Volumes/path/to/source/file.pdf', format => 'binaryFile')
)
SELECT
  path,
  parsed:document:pages,
  parsed:document:elements,
  parsed:corrupted_data,
  parsed:error_status,
  parsed:metadata
FROM corpus;

Python

from pyspark.sql.functions import *


df = spark.read.format("binaryFile") \
 .load("/Volumes/path/to/source/file.pdf") \
 .withColumn(
   "parsed",
   ai_parse_document("content")) \
 .withColumn(
   "parsed_json",
   parse_json(col("parsed").cast("string"))) \
 .selectExpr(
   "path",
   "parsed_json:document:pages",
   "parsed_json:document:elements",
   "parsed_json:corrupted_data",
   "parsed_json:error_status",
   "parsed_json:metadata")
display(df)

6. Agent BricksでのPDFの使用（ベータ版）

リリース日：2025/06/25

Agent Bricks の UI ワークフローから PDF をマークダウン形式に変換した上でテーブルに保存できる機能がベータ版としてリリースされました。
ユーザーは、この機能により作成されたテーブルを、Agent Bricksの「情報の抽出」と「カスタムLLM」の入力データとして使用することが出来ます。
UIの説明には、「ai_parse_documentを使用して」と記載があるので、内部的な処理や出来ることはai_parse_documentと同じと考えられます。

詳細な設定方法は、「情報抽出」内のAgent Bricks での PDF の使用または「カスタムLLM」内のAgent Bricks での PDF の使用を確認してください。

7. ファイルイベントによるファイル到着トリガー機能が正式リリース

リリース日：2025/06/25

Amazon S3、Azureストレージ、Google Cloud Storageなどの外部ストレージで、ファイルイベントを使用したファイル到着トリガーを使用してジョブ実行をトリガーできます。
この機能を利用するには、外部ストレージでファイルイベントが有効になっている必要があります。
ファイルイベントを使用したファイル到着トリガーを使用すると、トリガーの上限が引き上げられ（ワークスペースあたり1,000個）、トリガーあたり10,000ファイルという制限がなくなります。

■ 外部ストレージでファイルイベントを有効にする手順（外部ロケーションは作成済みの前提）

Unity Catalogのクイックアクセスから[外部データ] -> [外部ロケーション]と選択し、作成済みの外部ロケーションを選択します。
画面右上の[接続テスト]に左側にある縦に点が3つ並んだアイコンをクリックし、[編集]を選択します。
[編集]がグレーアウトして選択できない場合は権限の問題なので、権限を設定してもらいます。
選択した外部ロケーションの編集画面下部に[詳細オプション]があるのでクリックして開きます。
[ファイルイベントを有効化]という選択ボタンがあるので選択し、ファイルイベントタイプを[自動]に設定します。
画面右下の[更新]ボタンをクリックして、変更を保存します。

その他の詳細な手順については、以下を確認してください。

8. MLflowがコンプライアンスセキュリティプロファイル標準をサポート

リリース日：2025/06/25

MLflow が、HIPAA、PCI-DSS、FedRAMP Moderate など、Databricksがサポートするすべてのコンプライアンスセキュリティプロファイル標準をサポートするようになりました。
サポートされるコンプライアンス標準の完全なリストについては、コンプライアンス・セキュリティ・プロファイルをご覧ください。

9. 新しいDatabricks JDBCドライバーがオープンソースになりました

リリース日：2025/06/26

新しいDatabricks JDBCドライバーがオープンソースになりました。ソースコードはApache 2.0ライセンスの下で公開されています。
Databricks JDBC ドライバーの最新バージョンである Databricks JDBC ドライバー (OSS) を使用すると、データベース管理システムにアクセスするための業界標準仕様である Java Database Connectivity (JDBC) を介して、 DataGrip、 DBeaver、 SQL Workbench/J などのツールを Databricks に接続できます。

10. 外部データリネージの持ち込み（パブリックプレビュー）

リリース日：2025/06/27

Unity Catalog の外部で実行されているデータや処理を Unity Catalog 上のリネージで表示できる機能がパブリックプレビューになりました。
Databricksの外部で実行されるワークロード（ファーストマイル ETL やラストマイル BI など）がある場合、 Unity Catalog を使用すると、自動的にキャプチャされる Databricks データリネージを拡張するための外部リネージメタデータを追加でき、 Unity Catalog でエンドツーエンドのリネージ画面を提供できます。これは、データが Unity Catalog に取り込まれる前のデータの取得元（Salesforce や MySQL など）や、 Unity Catalogの外部でデータが消費されている場所（Tableau や PowerBI など）をキャプチャする場合に便利です。

■ メリット

Unity Catalogのリネージ機能で一元的に確認できる

■ デメリット

外部メタデータは手動での登録になるため、変更が頻繁にある場合は管理が手間になる

■ 必要な権限

外部メタデータ作成権限（CREATE EXTERNAL METADATA）
外部メタデータオブジェクトに対するMODIFY権限
外部メタデータオブジェクトのアップストリームを指定するには、アップストリームオブジェクトに対するSELECT権限
外部メタデータオブジェクトのダウンストリームを指定するには、ダウンストリームオブジェクトに対するMODIFY権限

■ 設定概要

外部メタデータを作成（どのシステムを使用しているか、列情報など）
外部メタデータとUnity Catalogオブジェクトとの依存関係を設定
リネージグラフで設定内容を確認
※ 上記の画面では上流関係での設定画面となっていますが、下の図はPostgreSQLを下流関係として設定した図です。

設定の詳細は、データリネージは自分で持ち込むを確認してください。