はじめに

Microsoft Ignite 2023 で次世代 AI 時代のデータ分析ソリューションである Microsoft Fabric が一般提供 (GA) となりました。一般提供 (GA) は、基本的に、Microsoft Build 2023 で発表した Public Preview の機能が GA になります。

Microsoft Fabricは、統合された分析ソリューションで、すべてのデータをつなげることができます。OneLakeという単一のデータソースに基づいて、さまざまな分析エクスペリエンスを提供しています。

内容は多いため、後でも読むように、ブックマークやストックをお勧めします。

Microsoft Fabric の概念、それぞれのワークロード、Azure Synapse との違い、ライセンスなどの情報は、下記のURL記事に詳しく記載しておりますので、ぜひ、事前に読んでおくことを強くお勧めします。
https://qiita.com/yangjiayi/items/605d9679e1e35d391a1a

Microsoft Fabric は Azure Service Fabric ではありません!
違うプロダクトなので、名前を間違えないようにお願いいたします。

Why Microsoft Fabric

この1年間、ChatGPT や Microsoft Copilot などの生成 AI エクスペリエンスが世界を席巻しました。皆さんは、カスタム AI を作成するには、大量のデータが必要です。AI の性能は、その基盤となるデータの質に依存するというのが基本的な原則です。AI に基づいた未来を実現するためには、組織全体で AI イノベーションを推進するためのデータ資産が不可欠です。しかし、多くの組織ではデータ環境が専門的で断片化しており、これが A I開発における課題となる可能性があります。

その通りです。データは AI を動かす燃料でもあり、言い換えると、「ゴミデータはゴミ AI しかならないのです」。

前回の記事 (Why Microsoft Fabric) にも書いたのですが、データのサイロ化させないように、All in One の実装 (すべてのデータ、すべてのチーム、すべてを一か所へ)で、しかも、SaaS 型のサービスであることで、データ駆動型組織におけるすべての Data & AI ペルソナ及び要件に対するワンストップソリューションを実現しています。

ただし、多くの異なる種類のデータが存在しますが、そのデータを効果的に活用できているかどうかが、AI トランスフォーメーションを目指す企業にとって重要なポイントになるかと考えられます。

そうです。AI の力で、皆さんのビジネスを加速化し、DXを超え、AI トランスフォーメーシの企業を目指すのです。

Microsoft Fabricは、全てのワークロードに　Copilot (副操縦士) 機能を備えています。この Copilot は、コンシェルジュのようにユーザーの指示を受けてタスクを実行したり、提案を行ったりすることができます。ユーザーは自分の言葉で指示を出すことが可能で、この Copilot のサポートによりビジネスの効率化と加速が期待できます。

Microsoft Fabricは、統一されたアーキテクチャ、ユーザーエクスペリエンス、ガバナンス、ビジネスモデルを提供するプラットフォームです。各ワークロードは AI を搭載しており、Microsoft 365 との統合も実現しています。さらに、オープンなDelta Lake データ形式を採用し、全てのデータを一つのデータレイク上に保存することで、効率的なデータ管理を実現しています。これらの特徴が、Microsoft Fabricの核となっています。

Microsoft Fabric の特徴

Microsoft Fabric には、4つコアの特徴があります。それぞれ、紹介します。

Microsoft Fabric の特徴 (その1) - 完全な分析プラットフォーム

Microsoft Fabricは、Microsoft Power BI、Azure Synapse Analytics、およびAzure Data Factoryの長所を組み合わせて、7つの特定のワークロードに特化した統合サービスプラットフォームを提供します。このプラットフォームは、データ専門家向けのツールを備え、分析サービスの統合に伴うコストと労力を削減し、データ資産を簡素化することを目的としています。さらに、統合アーキテクチャを採用することで、すべてのワークロードに対応する一つの容量とストレージプールを提供し、データの管理、課金、およびセキュリティの保護を簡素化します。

Microsoft Fabric の特徴 (その2) - レイクセントリックかつオープン

Microsoft Fabric の OneLake は、統合されたマルチクラウドデータレイクで、Fabric の全ワークロードに自動的に接続され、データ管理を効率化し、重複を減らすように設計されています。OneLake ショートカットを使うと、Azure Data Lake Storage Gen2や Amazon S3 などのソースから、クラウド、アカウント、ドメインをまたいでデータを仮想化でき、メタデータや所有権の重複、データの移動や変更を避けることができます。また、OneLake ではデータを論理的なデータメッシュに整理し、直感的でパーソナライズされたデータハブを通じて、誰もがデータメッシュ全体を検索できるようになります。OneLake のオープンデータ形式により、データを一度レイクにロードすると、すべてのFabricワークロードとエンジンで同じデータのコピーが使用でき、データの重複や無秩序な増加を最小限に抑えられます。

OneLake の詳細に関しては、前回の記事 (Microsoft Fabric Onelake) ご参考ください。

ビジネスアプリケーションをご利用の方には、いいお知らせがあります。

OneLake のショートカット機能は、ADLS Gen2、Amazon S3、Dataverse、この3つの接続先ですが、すべて一般提供 (GA) となります。

OneLakeを通じて、Azure Databricks をさらに良い関係を築きます。つまり、Better togetherです。

Microsoft Fabric は、データレイクとデータウェアハウスの最良の特性を組み合わせた、オープンで管理されたレイクハウスを基盤としています。このシステムは、Delta Parquet 形式で標準化されており、Azure Databricks のユーザーが既に使っている形式と同じです。

これにより、Azure Databricks のユーザーは、Microsoft Fabric や他の Azure 製品との間で、追加の統合作業なしに、分析機能をシームレスに選択できます。ADLS Gen2ショートカットを使用することで、Azure Databricksのデータを OneLake にコピーせずに取り込むことが可能です。OneLake にあるデータは、Power BI の Direct Lake モードを使用して、Databricks データへの高速リアルタイム接続を作成する初期のユースケースとして利用できます。

さらに、Azure Databricks のユーザーは、他の Azure サービスへのアクセスが容易であり、このネイティブ統合によって、さまざまな Azure 機能を利用し、同じレイクハウスを活用してAIによる分析システムを強化し、データ資産の断片化を減らすことができます。

OneLake の強さは、それだけではありません。OneLake のオープンアクセス API は、OneLake にデータを書き込むためだけのものではありません。OneLake のオープンアクセスによって、さらに、Microsoft Fabric との相性向上させることもできます。

Microsoft Ignite 2023では、AI 開発者向けの新しいプラットフォームである Azure AI Studio のパブリックプレビューが紹介されました。このプラットフォームは、既存の AI サービス、機械学習モデル、コンテンツ安全性サービス、プライバシーとセキュリティ、コンプライアンスを兼ね備えた責任あるAIツールを統合し、組織がアイデアから具体的な影響をもたらすステップへと迅速に進むことを支援します。

OneLake のオープンアクセス API を使えば、OneLake にあるすべての Fabric データ項目から、構造化および非構造化データを Azure AI Studio のデータソースとして活用できます。このように OneLake は、データに基づいたAI アプリケーションの開発を促進するための重要な役割を果たします。

すべての道は OneLake につながる

マルチクラウド・ショートカットにより、データの移動や重複をすることなく、クラウド間のデータを単一の論理レイクに仮想化することができるほか、さらに、オープンアクセス API で拡張していきます。

ストレージ上のデータはショートカットを介して連携させることができますが、異なる環境や様々なデータベースのデータソースを統合する場合、どのような問題が発生するでしょうか？
通常は、Fabric Data Factoryを使用してETL/ELT処理を行い、またはDataflow Gen2を利用してデータを加工し、それをFabric LHやFabric DWに取り込んでいます。しかし、実際には、多くのユーザーから次のようなフィードバックがあります。

今回の Ignite 2023 では、ほぼリアルタイムで、データベースを同期する「Mirroring in Microsoft Fabric」が発表されました。

こちらの機能は、かなり強力なもので、相手のデータベースの Table、または指定された Table を Fabric DWに、CDC (Change Data Capture) 機能によって、同期できるようになります。

ほぼリアルタイムの同期で、Fabric DW に Delta Parquet 形式で、OneLake に保存され、Direct Lake モードで、素早く BI Report を作成できます。

現時点では、Azure Cosmos DB、Azure SQL Database、Mongo DB、Snowflake に限っています。プライベートプレビューの状態です。プライベートプレビューの参加は、下記のURLで、ノミネートする必要があります。

Mirroring in Microsoft Fabric プライベートプレビュー登録
https://aka.ms/FabricMirroringPreview

皆さんはきっと、ほかのデータソースは？と問われると思いますが、下記のロードマップをご参考ください。

あくまで、予定のもので、お約束できる機能ではないことをご了承ください。

上記の図のように、OneLakeは、さまざまなデータ資産を一つにまとめて接続する役割を果たします。データの取り込み（インジェスト）には、複数のクラウドサービスを結ぶショートカット、オンプレミス（社内のサーバーなど）ゲートウェイを通したアクセス、そしてミラーリングを使った方法があります。これにより、データを多角的に取り込むことが可能です。さらに、「オープンアクセスAPI」を通じて、ビジネスの新たな可能性を探求し、データに基づいた深い洞察を得ることができます。このように OneLake は、データを効果的に管理し活用するための重要な役割となっています。そして、Microsoft Fabric のコアレイクとも言います。

Microsoft Fabric の特徴 (その3) - すべてのビジネスユーザーを支援

世界中の多くの組織が、データを自由に扱い、データに基づいた回答を得られる文化を育てることを目指しています。データを活用する組織が、そうでない組織よりも一歩先を行っているのは明白です。多くの組織では、Power BI のような BI ツールを使用して始めることが一般的です。これにより、ビジネスユーザーは強力な分析ツールやビジュアルを活用し、Microsoft 365 のような日常業務に関連するアプリに分析情報を組み込むことができます。
ただし、このビジョンを実現するためには、適切な BI ツールだけでは不十分です。データの断片化を最小限に抑え、ビジネスユーザーが最新で正確なデータに容易にアクセスできるよう、整理されたデータ資産が必要です。Power BI と OneLake を組み合わせることで、データ駆動文化を実現するための適切なツールが提供されます。これにより、データ資産は組織の目指すデータ文化と一致する形で活用されるようになります。

Teams で、Microsoft Fabric と統合し、OneLake Hubで、組織で共有されているすべてのエンタープライズデータを簡単に検出できたり、セマンティックモデル (旧データセット)も検索でき、そのまま Power BI レポートを作成できます。Microsoft Fabric のセマンティックモデルのもとに、作られた Power BI レポートをシームレスに、PowerPointに挿入できます。
そして、Excelのユーザーは、Fabric のデータソースに接続し、Pivot 分析も可能です。

2023年10月3日から、パブリックプレビューになった Data Activator は、Ignite 2023 (2023年11月時点) になっても、パブリックプレビューのままです。Data Activator については、前回の記事 (Microsoft Fabric Data Activator) ご参考ください。

Microsoft Fabric の特徴 (その4) - AI 搭載

Microsoftは、Microsoft Fabricの全レイヤーにAIを導入しており、これによりデータ専門家がより迅速に、より多くの作業を行えるよう支援しています。Fabric Copilot 機能を使用すると、自然言語を使ってデータフローやパイプラインの作成、SQLステートメントの記述、レポート作成、さらには機械学習モデルの開発などが行えます。

皆さんは、ご自身のデータを準備し、Copilot による予測モデルを構築でき、さらに、Copilot による新たな発見及び洞察できるようになります。その一連の操作、プロセスの中では、Copilot が協力してくれるようになります。

また、Power BI、Data Factory、Data Engineering、Data ScienceなどのエリアでのCopilot in Fabricのパブリックプレビューの開始を発表しました。

Power BIでは、迅速に魅力的なレポートを作成し、分析情報を短時間で概要化できます。
Power BI の Copilot は、データを使って洞察を得るための作業方法を変革します。
これにより、計算言語やレポート設計のエキスパートになる必要はなく、ビジネスで必要な分析に集中できるようになります。

Data Factoryでは、自然言語を使ってデータの取り込みや変換方法を記述するだけで、残りの作業をCopilotが担います。データの変換を、苦労している方は、まだまだ、たくさんいらっしゃいます。Copilotは、皆様の言葉で、データ変換処理のステップを生成してくれます。
そして、既存の変換処理のステップを理解してくれていて、編集することもできます。
何日、何時間で開発しなければいけないコストは、Copilotによって、一瞬でやってくれます。

データエンジニアリングやデータサイエンスのノートブックでの作業が、Copilotのおかげでより効率的になります。これは、データの取り扱い、モデル化、分析、そして探索を迅速に行うことを可能にします。Copilotは開発者がコードをより迅速に書く手助けをするだけでなく、コードの動作の理解やデータ分析の最適な方法を共に理解するサポートも提供します。

Microsoft FabricのCopilotのプレビューは、2024年3月末までにFabric容量（F64以上）またはPower BI Premium容量（P1以上）を持つ全ての顧客がアクセスできるように段階的に展開されます。プレビューに参加するために別途サインアップする必要はなく、テナントにロールアウトされると、Fabric管理ポータルで新しい設定として自動的に利用可能になります。

Copilot in Fabric については、前回の記事 (Microsoft Fabric AI Copilot) ご参考ください。

Microsoft Fabric ISV エコシステム

100以上のパートナー社は、Fabric ISV エコシステムを開発しています。
Microsoft Fabric とそのオープンプラットフォームは ISV 向けに調整されており、組織がソリューションとサービスを Fabric と統合し、エクスペリエンスを Fabric に取り込むための準備を整えます。

このアプローチでは、エンドユーザー体験、ブランド、収益化を完全に所有し、Fabric ワークロード API の上に構築する。
例えば、データウェアハウス API と SQL、あるいは Kusto API と KQ Lは、Fabric 上でマルチテナント・エンタープライズ・アプリケーションを構築するために使用することができる。
Fabric はエンドユーザーからは完全に隠蔽されることもできます。
Power B Iレポートのようなビジュアルコンポーネントもアプリに埋め込むことができます。これは、特にデータを多用する分析リッチなアプリケーションにとって強力なアプローチです。

Windows のように、アプリは、Fabric 7つのワークロードと同じく相当し、OS は、Fabric を駆動させる OneLake 機能と当たります。ISV のパートナー社は、独自のワークロードをビルドすることも可能です。

既存の Azure Synapse をご利用のユーザー

Microsoft Fabricは、Microsoft Buildで公開プレビューされ、大規模なデータ製品発表として紹介されました。このプラットフォームは、既存のAzure Synapse AnalyticsのPlatform-as-a-Service (PaaS) バージョンを使用している顧客に対して、現在の投資を完全にサポートするとともに、将来についての考え方も提供しています。

Azure Synapse Analytics の PaaS オファリングは、データウェアハウスとビッグデータシステムを通じて洞察の時間を加速させるエンタープライズ分析サービスです。Microsoft は、Azure Synapse Analytics を引退させる予定はなく、顧客は引き続きPaaSオファリングを展開、運用、拡大できます。

Azure Data Factoryや、Synapse Data Pipeline のユーザーは、Fabric Data Factory にMount 機能を提供し、Fabric Data Factory で、Azure Data Factory のオブジェクトを操作できるようになります。また、アップグレードパスも提供する予定です。

詳細は、下記の URL をご参考ください。