はじめに
Microsoft Fabric (以降 Fabric) では、Ignite 2024 で Azure SQL Database とのミラーリングに加えて、Snowflake に対するミラーリングが一般公開がアナウンスされましたので、その機能に関して触れてみたいと思います。
Microsoft Fabric Advent Calendar 2024 の 19 日目の記事です。
Azure SQL Database とのミラーリングに関しては、以下の記事でまとめています。
本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります。
ミラーリング とは
ミラーリングは Fabric と外部のソースをほぼリアルタイムで連携する機能になります。以下のブログで発表されているように、Snowflake へのミラーリングの一般公開が行われました。Snowflake の Change Data Capture (CDC) の機能を利用して、Fabric の Onelake 上にデータをランディングさせ、テーブルに変換することでミラーリングを実現しています。
Announcing the General Availability of Mirroring for Snowflake in Microsoft Fabric
制限事項
ミラー化された Snowflake を実施する際の制限事項に関しては、以下の公開情報にありますので、利用される際には予め確認ください。
Snowflake からの Microsoft Fabric ミラー化データベースの制限事項
手順
以下の公開情報を参考に、Snowflake からのミラーリングを進めて行きます。
チュートリアル: Snowflake から Microsoft Fabric のミラー化されたデータベースを構成する
1.Snowflake にてデータを用意します
今回はこちらのリンクから、Parquet 形式のタクシー乗車データ Green Taxi Trip Records をダウンロードし、テーブルを作成しておきました。
2.接続情報を取得します
Fabric 側でミラー化された Snowflake を作成するために、必要な情報を Snowflake にて取得します。
URL に関しては以下のようにしてリンクを取得可能で、後ほど利用するためメモしておきます。
ウェアハウス名に関しては、[ウェアハウス] から利用するウェアハウス名を以下のように確認できるので、こちらもコピーしておきます。
3.ミラー化された Snowflake を選択します
Fabric ポータルにアクセスして、ワークスペースから [作成] アイコンを選択します。
[データ ウェアハウス] セクションにおいて、[ミラー化された Snowflake] を選択します。
4.ミラー化された Snowflake を作成します
手順 2 で取得した URL から https:// を削除します。
https://xxxx.japan-east.azure.snowflakecomputing.com
↓
xxxx.japan-east.azure.snowflakecomputing.com
5.データベースを選択します
ミラーリングに利用するデータベースを選択して、ミラーリングを構築します
6.データを確認します
[ミラー化された Snowflake] の SQL 分析エンドポイントを選択すると、データが反映されていることが確認できます。
ミラーリングしたデータの活用は以下のようにして、利用することが可能です。
まとめ
Snowflake で更新されたデータをミラーリング機能を利用して、Fabric からもほぼリアルタイムに参照できることが確認できました。これによって、Fabric に存在するデータも組み合わせて分析が可能になります。