はじめに
11月7日、Microsoft様とDatabricks様が共同で開催したイベント「Microsofy Tech Brief」が開催され、両社より「Microsoft Fabric」と「Azure Databricks」の新機能についての発表や、両サービスを組み合わせることで実現できるデータ分析のデモンストレーションが行われました。
今回はその発表内容についてまとめていきます。
Databricks と Fabric のデータ基盤統合について
Microsoft Fabric と Azure Databrics は両者の連携を強めていくためのアップデートを継続して行っています。
パブリックプレビュー中の機能として、Databricks のデータレイヤーを Fabric の OneLake と統合する機能が公開されました。OneLake 内の Unity カタログ内のテーブルのソースを OneLake に指定したり、逆に OneLake のショートカット機能で Unity Catalog を参照することで、両者のサービスで相互に利用可能になるということです。
これらはデータをコピーせず単一の信頼できるソースを利用できるため「1つのデータで2倍の分析ができる」と説明されていました。
なお、現時点で一般アクセス可能な手法として、FabricのSQLエンドポイントをDatabricksの接続先に指定する手法も紹介されていました。
データカタログ面的な部分として、Unity Catalog と Fabric の Microsoft Purview を統合するための開発も現在進行中と語られました。
Microsoft は Purview の立ち位置を「Catalog of Catalog」と称しており、Databricks 以外のサービスにおけるデータカタログも束ねる働きをするとのことです。
Fabricの新機能
生成AIを活用した Copilot 機能を各所で推し進めている Microsoft ですが、 Fabric においてこれまで存在した開発者向けのチャットのみならず、エンドユーザー向けに Power BI ダッシュボード上で直接 Copilot に問い合わせるボタンを設置できるようになりました。
前述した Databricks との統合機能の一つとして、Unity Catalog のミラーリング機能について実演されました。
なお、現時点ではミラーリング可能な対象に制限があり、セキュリティ付きのデータ、Delta Sharing などの外部テーブル、Deltaテーブル以外のデータが対象外となっています。
databricksの新機能
Fabric は Power BI との強力な連携機能をアピールしていますが、先日 Databricks からも直接 PBI にパブリッシュする機能が公開されました。
また、生成 AI でカタログのメタデータを生成する機能が以前より公開されていましたが、こちらが日本語に対応してさらに使いやすくなりました。
また、コスト管理に関わる機能として、以前公開されたダッシュボード機能が紹介されると共に、新たに「予算ポリシー」機能が公開されました。
こちらは、Databricks がサーバレスコンピューティングの利用範囲を拡大させていくにあたって、従来のクラスターに紐づけられたタグだけではなく、ユーザーの所属によってタグ付けを行ってコスト管理を可能にするというものでした。
他社アプリからのデータ取り込みコネクタの強化について。プレゼン内では Azure SQL Database との統合が実演されていました。
そして、Databricks 上でデータ+AI活用アプリの開発を完結できる機能「Databricks Apps」の紹介。
アプリは Databricks のサーバレスコンピュート上で動作し、ユーザーは Unity Catalog のアカウントを使って認証することが可能です。
アプリ開発は Git 統合での CI/CD の他、ブラウザ上でのローコード開発についても説明されていました。
おわりに
今回の講演では、Databricks と Fabric の両側から、単純な競合サービスとしてではなく、1つのデータを基にそれぞれの強みを生かすように統合を進めるという方向性が示されたのが興味深かったです。PurviewとUnity Catalogの立ち位置など、類似している各サービスの相違が自分のなかでより明確になったように思います。
また、12月の9日から12日にかけて、Microsoft Azure AI Innovation Week というウェビナーイベントが行われ、この中でも Databricks や Fabric のアップデート情報もあるとのことなので、こちらも忘れずにチェックしておきたいですね。
