Microsoft Build 2024 - Microsoft Fabric What's new and what's next

はじめに

Microsoft Ignite 2023 で 次世代 AI 時代のデータ分析ソリューションである Microsoft Fabric が一般提供 (GA) となりました。現時点では、Data Activator はまだパブリックプレビューです。本記事は、Microsoft Build 2024 で発表されたいくつかのアップデートを共有します。

Hero Blog Video:

最新の Microsoft Fabric の Roadmap に関しては、下記の URL にアクセスして、ご確認ください。

内容は多いため、後でも読むように、ブックマークやストックをお勧めします。

[Microsoft Build 2023]記事:
Microsoft Fabric の概念、それぞれのワークロード、Azure Synapse との違い、ライセンスなどの情報は、下記のURL記事に詳しく記載しておりますので、ぜひ、事前に読んでおくことを強くお勧めします。
https://qiita.com/yangjiayi/items/605d9679e1e35d391a1a

[Microsoft Ignite 2023]記事:
Microsoft Fabric - The unified data platform for the era of AI の GA 記事もあります。下記のURL記事に詳しく記載しておりますので、ぜひ、事前に読んでおくことを強くお勧めします。
https://qiita.com/yangjiayi/items/e264451e5c83c6ac90a7

Microsoft Fabric は Azure Service Fabric ではありません!
違うプロダクトなので、名前を間違えないようにお願いいたします。

Microsoft Fabric コンセプト

Microsoft Fabricは、企業向けに設計されたエンドツーエンドの分析およびデータプラットフォームです。この統合ソリューションには、データ移動、処理、インジェスト、変換、リアルタイムイベントルーティング、レポート作成が含まれます。Data Engineering、Data Factory、Data Science、Real Time Analytics、Data Warehouseなどの包括的なサービススイートを提供します。

Fabricを使用することで、複数のベンダーの異なるサービスをまとめる必要がなくなります。代わりに、分析要件を簡素化するシームレスに統合されたユーザーフレンドリーなプラットフォームが提供されます。SaaS（サービスとしてのソフトウェア）モデルで動作するFabricは、ソリューションを簡素化し統合します。

Microsoft Fabricは、個別のコンポーネントを一つのまとまりのあるスタックに統合します。さまざまなデータベースやData Warehouseに依存する代わりに、OneLakeを使用してデータストレージを一元化できます。AI機能はFabric内にシームレスに組み込まれているため、手動による統合は不要です。Fabricを使用すると、生データをビジネスユーザーにとって実践的な分析情報に簡単に変換できます。

• Data Factory

Power QueryとPipelineを組み合わせて、オンプレミスとクラウドのデータソースへの200+のネイティブコネクタを活用し、ETLを行います。

• Synapse Data Engineering

優れたオーサリングエクスペリエンスを備えた世界クラスのSparkプラットフォームにより、データエンジニアが大規模なデータ変換をできるようにします。

• Synapse Data Science

機械学習モデルをFabric内で直接構築、デプロイ、運用化することで、データサイエンティストやアナリストに予測的なインサイトを提供します。

• Synapse Data Warehousing

T-SQLでハイパフォーマンスとスケールを提供し、コンピューティングとストレージを完全に分離して、Delta Lakeによるデータ分割を格納します。

• Synapse Real Time Analytics

リアルタイムデータから実用的な洞察を生み出すための観測データ分析のためのベストクラス最前線のエンジンで、IoT、テレメトリー、ログデータに最適です。

• Power BI

世界をリードするビジネスインテリジェンスプラットフォームにより、ユーザーは迅速かつ直感的にデータを使用してより良い意思決定を行うことができます。

• Data Activator

データの変更で自動アクションを実行するコードなしのエクスペリエンスを提供し、後続処理にトリガーさせる機能です。

Taskflows (パブリックプレビュー)

Microsoft Fabricでタスクフロー機能を活用してデータソリューションを設計および構築し、ワークスペースアイテムを管理する方法についてご案内します。

タスクフロー機能がパブリックプレビュー段階に入り、既存のすべてのMicrosoft Fabricユーザーに対して利用可能になりました。Fabricは、エンドツーエンドのデータおよび分析ソリューションを提供するための統合プラットフォームです。組織のデータプロジェクトの開始から終了まで、完全なソリューションを提供します。

Fabricタスクフローを使用することで、データプロジェクトを設計する際にホワイトボードを使ってプロジェクトの部分や相互関係をスケッチする必要がなくなりました。代わりに、タスクフローを使ってこれらの重要な情報を直接プロジェクトに組み込むことができます。タスクフローは、データソリューションの設計を合理化し、設計と開発の作業の一貫性を確保します。また、プロジェクトが時間の経過とともに複雑になる場合でも、アイテムをナビゲートし、ワークスペースをより簡単に管理することができます。

Fabricを使用することで、組織はデータソリューションの設計と構築を効率的に行い、ワークスペースアイテムを効果的に管理できるようになります。

Fabric Workload Development Kit (パブリックプレビュー)

前回の記事では、ISV エコシステムの発表もあったと思います。Microsoft Fabric を開発基盤とし、ISV 各ベンダー様のエコシステムを開発できるようになるというアナウンスがあったと思います。

このように、ISV パートナー社のエコシステムを Microsoft Fabric 上にデプロイします。

現時点では、すでにたくさんの ISV ベンダー様が Microsoft Fabric の基盤に、開発が進んでいます。Build 2024では、すでに、いくつかのプロモーションビデオも紹介されています。

Microsoft は、開発者が Fabric 内で相互運用可能なアプリケーションを構築するためのツールキットであるFabric Workload Development Kit を導入しました。

このキットで構築されたアプリケーションは、Fabric 内のネイティブワークロードとして表示され、手作業なしでFabric環境内で一貫したユーザーエクスペリエンスを提供します。開発者は、これらのワークロードを Azure Marketplace を介して公開し、収益化することができます。

さらに、MicrosoftはエンタープライズユーザーがFabricを離れることなくこれらのワークロードを検出、追加、管理できるワークロードハブエクスペリエンスの作成にも取り組んでいます。Neo4jはすでにFabric Workload Development Kitを使用して、Fabric内で製品を利用できるようにしています。

プレビュー段階の開発者向けに、Microsoft は GraphQL用APIと User Data Functions という2つの新機能を追加しています。GraphQL用APIは柔軟で強力な RESTful API であり、データプロフェッショナルが単一のクエリAPIでFabricの複数のソースからデータにアクセスできるようにします。このAPIは企業がネットワークのオーバーヘッドを削減し、応答速度を加速するのに役立ちます。

User Data Functions は、ノートブック、パイプライン、イベントストリームなどのすべてのデータサービスにわたるMicrosoft Fabricエクスペリエンス用に構築されたユーザー定義関数で、開発者がネイティブコード機能とカスタムロジックを使用して、レイクハウス、データウェアハウス、ミラーリングされたデータベースなどのさまざまなデータソースを使用してアプリケーションを簡単に構築できるようにします。

さらに、MicrosoftはFabric内のData Factoryモジュールをデータワークフローという新機能で更新しました。現在プレビュー中のこの新機能により、企業はFabric内で複雑なデータワークフローオーケストレーション用の有向非巡回グラフ(DAG)を定義できます。データワークフローはApache Airflowを利用しており、企業がPythonを使用してワークフローやデータパイプラインを作成、スケジュール、監視できるように設計されています。

Microsoft Fabric API for GraphQL (パブリックプレビュー)

GraphQLは、ウェアハウス、レイクハウス、データベースなどのFabricデータソースと連携し、Fabricエコシステムとの緊密な統合を実現します。さらに、GraphQLはポータル内でのSaaSエクスペリエンスを提供し、ユーザーはシームレスにデータにアクセスできます。この機能はFabric容量モデルの一部であり、使用されたCU（Capacity Units）に基づいて課金されます。

この統合により、企業はFabric内のさまざまなデータソースに対して一貫した方法でアクセスでき、アプリケーションのパフォーマンスと効率を向上させることができます。GraphQLの使用により、アプリケーションは必要なデータを迅速に取得し、ユーザーに対して迅速かつ効果的に情報を提供することが可能となります。

Microsoft Fabric API for GraphQLは、複数のデータソースのクエリを迅速かつ効率的に実行するためのデータアクセス層です。このAPIは広く採用され、使い慣れたAPIテクノロジを使用しており、バックエンドデータソースの詳細を抽象化できるため、アプリケーションのロジックに集中することができます。これにより、クライアントが必要とするすべてのデータを1回の呼び出しで提供することが可能です。

GraphQLはシンプルなクエリ言語と簡単に操作できる結果セットを使用しているため、アプリケーションがFabric内のデータにアクセスする時間を最小限に抑えることができます。このAPIを使用することで、アプリケーションは効率的かつ効果的にデータを取得し、ユーザーに一貫したエクスペリエンスを提供することができます。

User Data Function in Fabric (プライベートプレビュー)

Microsoft Fabric UDF を発表しました。この機能で、開発者はさまざまな場所から呼び出すことができるカスタムロジックを追加できるようになりました。Fabric のユーザー定義関数 (UDF) は、完全なSaaSエクスペリエンスを提供し、開発者が柔軟にデータ処理をカスタマイズできます。
ノートブック、パイプライン、イベントストリームなどの Fabric 内のすべてのデータサービスに対して、ネイティブコード機能とカスタムロジックを使用したアプリケーションを構築することが容易になります。開発者はレイクハウス、データウェアハウス、ミラーリングされたデータベースなどのさまざまなデータソースを活用して、効率的かつ効果的にデータソリューションを作成できます。

Microsoft Fabric User Data Functions (UDF) を使用すると、再利用可能なカスタムビジネスロジックを Fabric ワークフローに実装できます。これにより、パイプライン、DataFlow、イベントストリームなどの多くのFabricアイテムから簡単に呼び出すことができ、Fabricウェアハウス、レイクハウス、ミラーリングされたデータベース内のデータにシームレスにアクセスできます。開発者に優しいプログラミングモデルが付属しており、効率的な開発が可能です。

さらに、VSCode 用の新しい Fabric 拡張機能が導入され、その中で UDF のローカルエクスペリエンスも提供されます。開発者は、日常的に使用している VSCode を引き続き利用でき、より多くの時間を効率的に使えます。この機能は Fabric のネイティブ項目であるため、Fabric のセキュリティとガバナンスの概念をサポートし、CU (Capacity Units) として請求される Fabric 容量モデルの一部になります。

Azure Functions の概念と似ていますが、SaaS レベルの Functionsになります。

プライベートプレビューに参加したい方は、下記の URL からノミネートしてください。

Shortcuts to On-Premises Sources (パブリックプレビュー)

オンプレミスデータゲートウェイ (OPDG) を使って、オンプレミスネットワーク、または制限付き(閉じた)ネットワークのストレージに対して、Fabric ショットカットを貼ることが可能になります。
こちらの機能を試すには、最新の OPDG をダウンロードし、インストールしてください。

実は、Fabric Mirroring オンプレミス (これから発表) 環境の場合でも、このような接続を想定しています。

Iceberg support in Fabric OneLake (発表)

Microosft は Snowflake とのパートナーシップを拡大する一環として、Iceberg 形式をサポートするような発表がありました。
Microsoft Fabricのリリースにより、オープンなデータ形式、標準、パートナーとの相互運用性に取り組むことで、お客様がビジネスにとって意味のあることを柔軟に実現できるようになりました。Snowflake との既存のパートナーシップを拡大し、Fabric と Snowflake の OneLake 間の相互運用性を強化することで、この取り組みをさらに一歩進めています。

今後、Fabric OneLakeでのApache Icebergのサポートと、SnowflakeとFabric間の双方向データアクセスを提供します。そして、ユーザーは、任意のプラットフォーム内のエンジンで Iceberg 形式で記述された Fabric および Snowflake のデータを分析し、Microsoft 365、Microsoft Power Platform、Microsoft Azure AI Studioなどのアプリ間でデータにアクセスできるようになります。

具体的には、OneLake で Iceberg のショートカットが利用可能になると、Fabric ユーザーは、Snowflake のIceberg ソースを含む Iceberg 形式のすべてのデータソースにアクセスし、Iceberg 形式と Delta 形式の間でメタデータを変換できるようになります。つまり、Snowflake と Fabric 全体でデータの単一のコピーを操作することが可能になります。すべての OneLake データは Snowflake と Fabric でアクセスできるため、この統合により、アプリケーションとデータ資産をつなぎ合わせる時間を減らし、インサイトの発見により多くの時間を費やすことができます。

Snowflake と Fabric は、このようなメリットを提供するために、年内に以下の機能をお客様向けに追加します。

• Snowflakeでは、データをIceberg形式でOneLakeに保存できるようになります (年内に正式プレビュー開始)。
• Fabricは、OneLakeのApache XTable変換により、Iceberg形式でOneLakeにデータを保存できるようになります。
• SnowflakeまたはFabricのいずれかのプラットフォームで記述されたデータには、両方のプラットフォームからアクセスできます。
• Snowflakeは、物理的または仮想的に保存されたOneLake内のFabricデータアーティファクトをショートカットで読み取ることができます。
• SnowflakeとFabricのデータは、Microsoft 365、Microsoft 365のCopilot、Snowflake Cortex AI、Azure AI Studio、Snowflake Copilotなどのさまざまなサービスで使用できます。

まず、SnowflakeでFabric OneLakeアカウントを指す外部ボリュームを作成します。ここに、Snowflakeはロイヤルティ会員データをIceberg形式で保存します。このIcebergテーブルをSnowflakeから作成する際、IcebergカタログとしてSnowflakeを、外部ボリュームとしてFabric OneLakeを指定することができます。Snowflakeがテーブルを操作してデータを書き込むと、OneLakeはParquetファイルを書き換えることなく、自動的にIcebergメタデータをDelta Lake形式に変換し、Fabricエンジンが同じテーブルをクエリできるようにします。

同様に、Fabric OneLakeでは、Snowflakeのエンジンで使用するために、すべてのOneLakeデータをIceberg形式で読み取ることができます。つまり、OneLakeのIcebergデータを参照するIcebergテーブルをSnowflakeから作成し、それをクエリすることができます。例えば、Snowflake Cortex AIのLLM関数を使用して、サポートケースノートのセンチメントを計算したり、コールトランスクリプトを要約したりすることが可能です。

Microsoft Azure Databricks Unity Catalog 統合 (プライベートプレビュー)

近日中に、Fabric で Microsoft Azure Databricks Unity Catalog テーブルに直接アクセスできるようになり、Azure Databricks と Fabric の統合がさらに簡単になります。また、近日中に、Fabric ユーザーは、レイクハウスなどの Fabric データ項目に Azure Databricks のカタログとしてアクセスできるようになります。
Microsoft AI Day Osaka に参加された方は、すでに、Unity Catalog の Demo をご覧になったかと思いますが、これからは、パブリックプレビューに向けて、絶賛開発中です。ご期待ください。

Adobe and Microsoft Fabric (発表)

Adobe Experience Platform(AEP)とAdobe Campaignは、Fabricからエンタープライズデータを統合する機能を備えています。両社のお客様は、まもなくFabricに接続し、Fabricからデータを転送または抽出することなく、Fabricデータウェアハウスを使用してクエリフェデレーションを行い、エンゲージメントのためのオーディエンスを作成および強化できるようになります。

Real-Time Intelligence (パブリックプレビュー)

今回の Build 2024 の中で、Keynote でも紹介された Real-Time インテリジェンスのことですが、実は、すでに GA された Synapse Real-Time Analytics の Real-Time Intelligenceと呼ばれる強化されたワークロードになります。つまり、既存のワークロードを機能強化と見直しの要素が含まれています。

Real-time Intelligence Video:

Real-Time Intelligenceは、取り込みから変換、クエリ、即時アクションの実行まで、リアルタイムデータを最初にランディングすることなくシームレスに処理できるエンドツーエンドのエクスペリエンスです。このワークロードを使用すると、以下のことが可能になります。

• ストリーミングデータの取り込み：高い粒度でリアルタイムデータを取り込みます。
• 動的変換：取り込んだストリーミングデータを動的に変換します。
• リアルタイムクエリと分析：リアルタイムでデータをクエリし、即座に分析します。
• 即時アクションのトリガー：リアルタイムでアクションを実行できます (例：機器が過熱した際の生産マネージャーへの警告や、データパイプラインの障害時のジョブ再実行) 。

Real-Time Intelligenceは、シンプルなローコードまたはノーコードのインターフェースと、強力なコードリッチなインターフェースの両方を提供するため、すべてのユーザーがリアルタイムデータを操作できるようになります。

Real-Time Hubとは、その Real-Time Analytics 強力なワークロードの背後には、Fabricからのイベントストリーミングデータや、Microsoft、サードパーティクラウドプロバイダー、その他の外部データソースからのデータソースを検出、管理、使用できる 1 つの場所であるリアルタイムハブがあります。
例えば、下記のことができます。

• データ検出と管理：OneLakeデータハブが保存データの検出、管理、使用を簡単にするのと同様に、リアルタイムハブは移動中のデータに対して同じ機能を提供します。
• データのルーティング：リアルタイムハブを通過するすべてのイベントを簡単に変換して任意のFabricデータストアにルーティングできます。
• 新しいストリームの作成：ユーザーは新しいストリームを作成し、検出して使用できます。

Real-Time Hub から、ユーザーはデータプロファイルを通じて洞察を得たり、適切なレベルの承認を設定したり、状況の変化に関するアラートを設定したりできます。既存のリアルタイム分析機能は一般公開されていますが、Real-Time HubとReal-Time Intelligence Workload に追加されるその他の新機能は、現在パブリックプレビュー段階です。

Copilot in Microsoft Fabric Power BI experience (一般提供)

Fabric 現時点の 7つ Workload のうちに、Power BI の Copilot だけ GAになります。
Copilot in Fabric を使用すると、シンプルな会話言語を使用して、データを統合、変換、準備、視覚化できます。Power BI エクスペリエンスでは、Copilot を使用して魅力的なレポートを作成し、分析情報を数秒で説明の概要にまとめることができます。大まかなプロンプトを入力するだけで、Fabric の Copilot は、プロンプトに関連するテーブル、フィールド、メジャー、グラフを識別し、データのインサイトを最もよく強調するビジュアルを追加することで、レポートページ全体を作成します。これは、レポートをすばやく簡単に開始する方法です。
そして、バックラウンドのモデルは、GPT4-32Kを利用することになります。今までの GPT3.5 より、精度や性能も上がります。

下記の公式のBlog併せて、ご確認ください。

Data Factory、Data Engineering、Data Science、Data Warehouse、Real-Time Intelligence の Copilot in Fabric エクスペリエンスも、すべてプレビュー版として引き続き利用できます。また、Fabric の Copilot は、プレビュー エクスペリエンスを含むすべての対象テナントに対して既定で有効になりました。

残りの Fabric Data Factory Pipeline の Copilot はすでに、プライベートプレビュー段階に入っています。パブリックプレビューまでに、お待ちください。

Fabric AI Skills (パブリックプレビュー)

コーディングにあまり詳しくなくても、ジェネレーティブAIを使った体験を開発する方法もあります。それは、Fabric AI Skillです。FabCon の時に、AI Skillの本当の名前を変えるかもしれない状態でしたが、今回のBuildでは、AI Skillのまま出したので、たぶん、名前はそのままになるかと思います。

Fabricのあらゆるユーザーが、Fabricのデータに基づいたカスタムのジェネレーティブAI体験を開発できるようにする、新しい体験になります。

カスタムQ＆Aのプロセスを定義してから、公開すると、Endpointも付与され、ユーザーのアプリケーションでも利用可能になります。

Fabric から管理およびアクセスされるデータの多くは、構造化テーブルにあります。カスタムの質問と回答のエクスペリエンスを構築することで、ユーザーがデータを操作したり、質問をしたり、すばやく分析情報を得たりできるようになります。私たちは、データドメインの所有者とチームが、深い技術的ノウハウを必要とせずに、まさにそれを実現できるようにしたいと考えています。

Microsoft は、アナリストやその他の中小企業が、データに基づいてジェネレーティブAIのスキルを構築できるようにしたいと考えています。また、アプリケーション開発者には、これらのスキルをアプリケーションで再利用できるようにしたいと考えているため、ローコードで、AI プロセスを作成できるように開発を進んでいます。

Power BI Desktop Model explorer と DAX query view (一般提供)

モデル エクスプローラーの特徴として、Power BIのモデル ビューのモデル エクスプローラーを使用すると、セマンティック モデルを1つのツリー ビューでエンドツーエンドで表示できるため、データ内の項目をすばやく見つけることができます。モデル エクスプローラーには以下の機能があります。

• 検索バーで項目を検索
• ツリー ビューの展開および折りたたみ
• セマンティック モデル内の各項目の数を確認
• セマンティック モデル項目の作成および編集の単一ペイン アクセス

また、モデル エクスプローラーを使用して計算グループを作成し、計算ロジックを再利用してセマンティック モデルの使用を簡略化することで、メジャーの数を減らすことができます。

Power BI DesktopのDAXクエリ ビューは、DAXクエリ ビューを使用すると、ユーザーはセマンティック モデル内のデータに対するデータ分析式（DAXクエリ）の結果を書き込み、編集、表示できます。このビューの特徴は以下になります。

• クイック クエリを使用してデータをプレビュー
• 要約統計の表示
• 複数のメジャーを一度に表示、変更
• クエリを実行してデータを検証、モデルを更新
• ビジュアルがデータを取得するために使用するDAXクエリの確認でビジュアルをデバッグ
• 独自のDAXクエリを作成および実行
• モデルに存在しないメジャーや変数をそのDAXクエリに定義して使用

Microsoft Fabric に、すべてを統合し、すべてに可能性を

Microsoft Fabricは、企業のデータ基盤を統合し、すべての部門にわたる可能性を広げるために設計されたプラットフォームです。

• Microsoft Dynamics 365との統合
  Fabricは、Microsoft Dynamics 365の各モジュール（Sales、Supply Chain、Service、Finance、Customer Service）とシームレスに連携します。各部門はリアルタイムでデータを共有し、より迅速かつ効率的に意思決定を行うことができます。

• Microsoft 365との統合
  Fabricは、Microsoft 365の各ツール（Copilot、PowerPoint、Excel、Outlook、Teams）とも統合されています。ユーザーは日常的に使用するオフィスアプリケーション内でFabricのデータにアクセスし、分析やレポート作成を行うことができます。

• Microsoft Power Platformとの統合
  Fabricは、Power Platform（Power Apps、Power Pages、Copilot Studio、Power Automate）と連携し、ビジネスプロセスの自動化やアプリケーションの迅速な開発を支援します。技術的な知識が少ないユーザーでも、簡単にカスタムソリューションを構築できます。

• Microsoft Azureとの統合
  Fabricは、Microsoft Azureの各サービス（HDInsight、Databricks、OpenAI Service、Machine Learning、AI Studio）とも統合されています。特に、Azure OpenAI ServiceやAI Studioを利用することで、OneLakeのデータを使ったカスタム AI モデルの開発が可能です。AI を活用した高度なデータ分析が実現します。

• サードパーティ製アプリケーションとの統合
  さらに、FabricはSAP、Salesforce、Oracle、Slack、Epicなどのサードパーティ製アプリケーションとも連携しています。企業は異なるプラットフォーム間でデータの一貫性を保ち、効率的に業務を遂行することができます。

Microsoft Fabric は、企業全体のデータ基盤を統合し、各部門が連携してより良いビジネス成果を達成できるようにします。業界トップクラスのデータ基盤として成長し続ける Fabric は、今後もさらなる進化を遂げ、企業のデジタルトランスフォーメーションを支援します。

Next Step

GA されても、無料トライアル (F64 SKU) はご利用可能です。

Microsoft Fabric スキルチャレンジ (2024年6月21日まで)

Microsoft Learn Challenge: Build Editionは、2024年5月21日午後4時（協定世界時）に開始し、2024年6月21日午後4時（協定世界時）に終了します。

https://www.microsoft.com/ja-jp/cloudskillschallenge/build/registration/2024

ぜひ、スキルチャレンジしていただき、DP-600:Microsoft Fabric を使用した分析ソリューションの実装のバウチャーをゲットしましょう。

Discussion Request - Japan

導入事例、導入相談、資料請求、テクニカル相談は、Ask Professional を用意しております。

Microsoft Fabric Discussion Request - Japan
https://forms.office.com/r/FeuVqCQ4qn

最後に、Community の紹介

また、当 Community では、Azure Data Platformの勉強会は毎月に開催しています。ぜひ、Communityもアクセスしてみてください。そして、SQL Server 2022 新機能などのイベントも開催しております。

Japan SQL Server User Group
https://aka.ms/jssug

Join Japan SQL Server User Group Slack
https://join.slack.com/t/jssug-sqlserver/shared_invite/zt-n5r5n88h-JZgmtyYEaPErE1PxX5xxhQ