こんにちは!株式会社マクニカでDatabricksのエンジニアをしています。@satoshy2です。
Databricksとは?(マクニカ紹介ページ)
2025年7月4日までにリリースノートでリリースがアナウンスされている新機能をいくつかご紹介します。先週はプラットフォーム関連のアップデートは2個と多くはありませんでしたが、AI/BIダッシュボート関連とDatabricks SQL関連のアップデートと個別にいくつかアップデートを見つけましたので合わせて記載します。
1. 再帰的共通テーブル式(CTE)(パブリックプレビュー)
リリース日:2025/07/01
再帰的共通テーブル式は、Databricksランタイム17.0以上のすべてのコンピュートタイプとSQLウェアハウスのプレビューチャネル(Databricks SQLバージョン2025.20)(2025年7月4日時点)でパブリックプレビューとして使用できるようになりました。
CTEを記述する時にRECURSIVE
を追加することで、自身を参照し、繰り返しSQLクエリを実行することができます。
※ こちらはプラットフォームのリリースノートには記載されていませんでしたが、Databricksのトップ画面からアクセス可能な新機能部分に記載されていました。
2. 1人のユーザーで複数の Git プロバイダーの資格情報を管理可能に(パブリックプレビュー)
リリース日:2025/07/02
以前までは、1人のユーザーで管理可能な Git プロバイダーの資格情報は1つだけでしたが、今後は1人のユーザーで複数の Git プロバイダーの資格情報を管理可能になりました(パブリックプレビュー)。
※ 弊社環境ではまだこの機能が有効化されていませんでしたので、実際の動作は確認できていません。 2025/07/14時点で確認したところ、複数の資格情報を追加出来るようになっていることを確認しました。
但し、2つ目以降はパーソナルアクセストークンを使用した資格情報の追加となっていました。
3. ダッシュボードのテーマ設定とページの機能強化(AI/BI リリースノート)
リリース日:2025/07/03
■ 変更点
- ダッシュボードのインポートとエクスポートでダッシュボードのテーマ設定が保持されます。そのため、テーマ設定を変更したダッシュボードからエクスポートされたファイルをインポートすると、変更されたテーマ設定が適用されますのでご注意下さい。テーマの設定については、テーマをカスタマイズするをご確認ください。
- ダッシュボードのページ設定が最大で10ページから15ページに変わりました。
- 日付(data)型や時刻(timestamp)型のデータ型を軸に持つグラフで注釈をグラフに追加できるようになりました。
- パラメータ化されたスケジュールが再度有効になりました。スケジュールの設定については、スケジュールを作成するをご確認ください。
4. Genieの視覚化と権限の改善(AI/BI リリースノート)
リリース日:2025/07/03
■ 変更点
- Genieの視覚化(ビジュアライゼーション)は、SQLクエリによって返されるものと同じソート順序になるように設定されました。
- GenieスペースでCAN MANAGE(管理可能)権限を持つユーザーは、そのGenieスペースを削除できるようになりました。
- 文字列フィールドが日付(date)型または時刻(timestamp)型として誤って解釈される問題を修正しました。
5. Databricks SQL バージョン 2025.20がプレビューチャンネルで利用可能に(Databricks SQL リリースノート)
リリース日:2025/07/03
■ 変更点
- SQL プロシージャーのサポート
- SQL 関数のデフォルト照合順序の設定
- 再帰的共通テーブル式(rCTE)のサポート
- ANSI SQL のデフォルト有効化
- SHOW SCHEMAS での ALL CATALOGS のサポート
- リキッドクラスタリングは削除ベクトルをより効率的に圧縮
- MERGE演算の UPDATE/INSERT 列の値で非決定論的な式を許可
- SQL 変数の宣言と削除のための VAR キーワードをサポート
- CREATE VIEW 列レベルの句は、句がマテリアライズドビューにのみ適用される場合にエラーをスロー
6. 親タスク(ジョブの実行(Run job)とそれぞれ(For each))の同時実行数の制限が他のタスクと別管理に
リリース日:2025/07/04
以前までは、「ジョブの実行」タスクと「それぞれ」タスクも含めて同時実行数の制限が適用されていましたが、今後は「ジョブの実行」タスクと「それぞれ」タスクの同時実行数の制限が以下のように他のタスクと別に管理されるようになります。
- 全体の同時実行タスク数:2000
- 親タスクの同時実行タスク数:750
同時実行タスク数の詳細は、リソースの制限をご確認ください。
7. ジョブやパイプラインでのサーバレス使用時に標準モードが選択可能に
リリース日:不明(個別に連絡が来ていたため記載)
ジョブやパイプラインをサーバレスで実行する場合、「標準モード」を選択できるようになりました。
「標準モード」にするとジョブやパイプラインの開始までに4~6分かかる場合がありますが、「パフォーマンスを最適化」と比較するとコストを最大 70% 削減できます。
「パフォーマンスを最適化」を選択した場合は、ジョブやパイプラインの開始と実行が高速化されます。
ジョブやパイプラインをサーバレスで新規に作成する場合、デフォルトは「標準モード」(「パフォーマンスを最適化」はオフ)になっています。
※ パイプラインで「標準モード」または「パフォーマンスを最適化」を選択するには、パフォーマンスモードを選択するをご確認ください。