Microsoft Fabric September 2023 update（和訳）

Microsoft Fabric の 2023/9 のアップデート情報を和訳・まとめてみました。

コア

監視ハブ－列のオプション

ユーザはニーズに応じて列を選択し、並び替えることができる。他のツールに切り替えたとしても、これらの列のオプションは、ユーザが再び戻ってくるまでフィルターと共に保持される。
ドラッグ＆ドロップで列の並び替えができ、選択されたすべての列のオプションは次回開いたとき上にバブルアップされる。
　　　

OneLake

OneLake ファイルエクスプローラ (v.1.0.10) －ワークスペースとアイテムをオンラインで表示するメニューオプション
Windows 用 OneLake ファイルエクスプローラにより Fabric ウェブポータルとシームレスに行き来できるようになった。OneLake ファイルエクスプローラでデータを閲覧する際、ワークスペースを右クリックし、[OneLake] -> [View Workspace Online] を選択すると、Fabric ウェブポータルのワークスペースブラウザが開く。ワークスペース内のアイテムについても同様にアクセスできる。
さらに、Windows 通知領域の OneLake アイコンを右クリックし、[Diagnostic Operations] -> [Open logs directory] を選択すると、問題のトラブルシューティングに必要なクライアント側のログを簡単に見つけることができる。
最新の OneLake ファイルエクスプローラはこちら↓。

PowerBI

一般

Power BI Desktop .NET Framework を 4.7.2 以降にアップグレード推奨
.NET Framework 4.5 を使用した Power BI Desktop は、2023 年 9 月 30 日以降サポートされなくなるため、.NET Framework 4.7.2 以降にアップグレードを推奨。

レポート

モバイル・レイアウト・インタラクティブ・キャンバス
レポートを公開する前に、ボタン、スライサー、ビジュアルがアプリ上でどのように動作するかをテストすることができる。
さらに、キャンバスのインタラクティブ性により、ビジュアルを直接操作したり、テーブルやマトリックスの列見出しを調整して、モバイル画面に合わせることができるようになった。

スマート説明の改良
スマート説明のビジュアルで、列のデータを表示する際にテキストを表示できるようになった。

モデリング

Power BI Service でのデータモデルを編集機能の更新
レイアウトに加えた変更は、Desktop と Service の間で持続されるようになった。

• Desktop でデータモデルレイアウトに加えた変更は、.PBIX ファイルをアップロードすることで Service に反映されるようになった。
• 同様に、Service 内のデータモデルのレイアウトに加えられた変更は、.PBIX ファイルをダウンロードすると、デスクトップに反映されるようになった。

Q&A 設定で言語関係を編集する
Q&A ビジュアルが、レポート利用者が実際に使用する独自の言語に基づいて、一貫性のある正確な回答を提供できるようにするため、モデル内の列名やテーブル名の同義語を Q&A に提供することに重点を置いた Q&A 設定ツールを導入した。
また、データの言語的関係を作成・管理するためにリレーションシップを定義することができる。

MINX と MAXX の DAX 関数の変更
MINX および MAXX 関数のオプションに variant パラメータが追加された。これらの関数は、バリアントやテキストと数値の複合値型がある場合、テキストやブール値を無視する。新しいオプションの variant パラメータを TRUE に設定すると、関数はテキスト値を考慮する。（デフォルトは FALSE ）

プロパティペインでのリレーションシップの編集（GA）
モデリング中の任意のリレーションシップ行をクリックして、プロパティペインでリレーションシップを編集できるようになった。これは、Power BI Desktop のモデルビューと Power BI Service の Web モデリングで利用できる。クエリを実行してデータをプレビューしたり、変更の適用をクリックしてリレーションシップを検証したりすることなく、リレーションシップを編集できるため、DirectQuery モードを使用している場合により有効となる。

データ接続

SAP HANA（コネクタの更新）
Datasphere の Calculation Views を利用できるようになり、_SYS_BI スキーマに追加の権限を付与することなく、HANA Cloud のビューに接続できるようになった。

Emplifi Metrics（新規のコネクタ）
Emplifiチームからのリリースノート：
「マーケティングやビジネスインテリジェンスの他のデータと一緒にソーシャルメディアインサイトを統合することで、デジタル戦略全体を一箇所で総合的に理解することができる。Emplifi Power BI コネクタを使用すると、チャートやグラフに Emplifi プラットフォームからのソーシャルメディアデータを含めることができ、所有する他のデータと組み合わせることができる。
Power BI コネクタは、Emplifi Public API と Power BI 間のレイヤーで、Power BI で直感的にデータを扱うことができる。Emplifi Public API で利用可能なデータやメトリクスの大部分はコネクタでも利用可能。

Service

行レベルのセキュリティのロールの検証の改善

• 新しいドロップダウンが追加され、データセットに接続されている任意のレポートを選択してテストできるようになった。
• 特定の人物のロールテスト中に、その人物に関連する権限の詳細を簡単に確認できるようになった。
• 警告およびエラーメッセージを改善した。

モバイル

AAD（Azure Active Directory）共有デバイスモードのサポート（プレビュー）
共有デバイスモードでは、従業員グループで共有するデバイスを設定できる。Power BI と共有デバイスモードをサポートする他のすべてのアプリに対して、シングルサインオン（SSO）とデバイス全体のサインアウトを可能にする。

開発者向け

Git 統合でページ分割されたレポートがサポート
ワークスペースを Azure DevOps に接続した後、ページ分割されたレポートをコミットして、リポジトリでバージョン管理することができる。その後、Git から直接 Power BI Report Builder で .rdl ファイルを開き、編集して変更を Git にプッシュできる。

ワークスペースでのチェックアウトとブランチの切り替え

• ブランチのチェックアウト - チェックアウトを使うと、ワークスペースの現在の状態から新しいブランチを簡単に作成できる。コミットされていない変更は保持されるため、コンフリクトが発生した場合にバックアップブランチに変更をコミットし、Git リポジトリでマージコンフリクトを管理することができる。

• ブランチの切り替え - ワークスペースの管理者は、ブランチの接続だけを簡単に変更できる。

新しい E2E CI/CD チュートリアルを公開
CI/CD プロセスの一部としてデプロイパイプラインと Git を適切に接続することで、魅力的な e2e フローを構築することができる。このステップバイステップのガイドに従って、両方のツールを一緒に最大限に活用する方法を学んぶことができる。

Synapse

Data Warehouse

Fabric メトリックアプリのデータウェアハウス利用率レポート
Fabric メトリックアプリは、データウェアハウスを含むすべての Fabric ワークロードの容量使用率を一箇所で可視化する。CU（容量ユニット）の使用傾向を特定し、過負荷情報を監視し、運用コストを把握することで、キャパシティサイジングの意思決定につなげることができる。

列レベルのセキュリティがデータウェアハウスと SQL エンドポイントで利用可能に
列レベルのセキュリティにより、アプリケーションのセキュリティの設計とコーディングを簡素化されるため、列へのアクセスを制限して機密データを保護することができる。例えば、特定のユーザが所属する部署に関連するテーブルの特定の列にのみアクセスできるようにする。このセキュリティは単一のアプリケーション層ではなく、データベース層にあるため、データアクセスが試行されるたびに制限が適用される。これにより、セキュリティの信頼性と堅牢性が高まる。
GRANT 構文を使用して実装できる。Azure Active Directory 認証のみがサポートされている。

データウェアハウスの行レベルのセキュリティ
行レベルのセキュリティもデータウェアハウスと SQL エンドポイントで利用できるようになった。行レベルのセキュリティ（RLS）は、列レベルのセキュリティ（上記）と同様の効果が得られる。
CREATE SECURITY POLICY 構文とインラインのテーブル値関数として作成された述語を使用して実装できる。

SQL プロジェクトが Fabric Data Warehouse をサポート
Microsoft Fabric Data Warehouse が、Azure Data Studio の SQL Database プロジェクトの拡張機能でサポートされた。Azure Data Studio の SQL Database プロジェクトは、ソース管理されたプロジェクトから SQL データベースのスキーマを設計、編集、公開する方法を提供する。GitHub Actions や Azure DevOps などのCI/CDパイプラインでビルドしてデプロイする。
SQL プロジェクトは、テーブル・ストアドプロシージャ・関数など１つのデータベースのスキーマを構成する SQL オブジェクトのことで、SQL Database プロジェクトを使用すると、Fabric Data Warehouse から直接、またはウェアハウスのスキーマを抽出して公開できる。その他の互換性のあるデータベースには、SQL Server、Azure SQL Database、Azure SQL Managed Instance、Azure Synapse SQL（サーバーレスおよび専用）がある。

デプロイ（配置）パイプライン
デプロイ パイプライン ツールを使用すると、BI 作成者は運用環境で共同作業を行い、組織のコンテンツのライフサイクルを管理でき、ユーザに届く前にサービス内でコンテンツを開発し、テストすることができる。サポートされるコンテンツには、レポート、ページ付きレポート、ダッシュボード、データセット、データフロー、そしてウェアハウスが含まれる。
デプロイ プロセスでは、パイプライン内のコンテンツをあるステージから別のステージ（開発からテスト、テストから本番）へクローンの作成できる。コピーされたアイテム間の接続はコピープロセス中も保持され、さらに、ターゲット ステージで更新されたコンテンツに構成済みのデプロイ ルールを適用する。デプロイ パイプライン REST APIを使用して、プログラムでコンテンツをデプロイすることもできる。

既定のデータセットの改善

1. 既定のデータセットに新しいオブジェクトを自動的に追加しない－ウェアハウスのアーティファクト設定でオン/オフを切り替えられる。
2. モデルビューの既定のデータセット管理ダイアログの更新
   a. スキーマによるフィルタ
   b. オブジェクト（テーブル/ビュー）によるフィルタ

Data Engineering

Microsoft Fabric の Synapse VS Code 拡張機能でノートブックファイルシステムをサポート
Synapse VS Code 拡張機能により、ユーザは VS Code 環境内でノートブックを開発できるようになる。.IPYNB ファイルをローカルデスクトップにダウンロードすると、ノートブックをローカルで編集、デバッグ、実行できるようになり、さらに、拡張機能によって提供されるカーネルを選択して、リモートの Fabric Spark コンピュート上でノートブックを実行し、デバッグすることもできる。
Python 開発者は、再利用可能な関数を .py ファイルの形でモジュールとして構成するのが一般的で、この原則を Fabric ノートブック開発に適用できるようになった。ノートブックの実行とデバッグに加えて、インポートしたモジュールからコードを実行してデバッグすることもできる。
ユーザが "Open Notebook Folder" をクリックすると、選択した .IPYNB ファイルを開くだけでなく、.PY モジュールを含むすべての関連ファイルをノートブックのファイルシステムからローカルの VS Code 環境にダウンロードできる。
ローカル環境とリモートワークスペース間の変更を同期するために、ユーザは2つの主要なアクションを利用できる：

1. リソース フォルダの公開
   [リソースフォルダの発行] ボタンをクリックすると、ユーザはローカルの変更内容をリモートワークスペースにアップロードできる。
2. リソース フォルダの更新
   [リソースフォルダの更新] ボタンをクリックすると、リモートワークスペースからローカルの VS Code 環境に変更を取り込むことができる。

リモートワークスペースで削除されたファイルがローカル環境に残っている場合、自動的に次のように処理する：

• 削除されたファイルは、ビルドフォルダのルート ディレクトリの下にある「__backup」という名前のバックアップ フォルダに移動される。この方法では、削除されたファイルのコピーが参照用に保存されるため、同期プロセス中にデータが失われることはない。

これらのアクションは、データの整合性を維持しながら、ローカルとリモートの環境間でファイルやコードの同期を管理する効率的で堅牢な手段をユーザに提供する。

ワークスペースにノートブックをインポート
[ワークスペース] -> [新規作成] -> [アイテムのインポート] の項目に「ノートブックのインポート」が追加された。ファイル（.ipynb、.py、.sql、.scala、.rのファイル形式をサポート）をノートブックのアイテムとしてワークスペースにインポートすることができる。

高速データコピーのための Mssparkutils の新しい API
mssparkutils に Mssparkutils.fs.fastcp() メソッドが追加された。
mssparkutils.fs.help("fastcp") を使用して、詳細な使用方法を確認することができる。
ベンチマークテストによると、従来のファイルシステムコピーメソッド mssparkutils.fs.cp() と比較して、7倍から180倍スピードアップした。（ソースの種類、データサイズ、リージョンによって異なる）

ノートブック保存時にバージョンの差分をサポート
ノートブックの保存が競合した場合に、同じノートブックの2つのバージョンの差分を表示いして比較できるようになった。これは、複数のユーザが同じノートブックインスタンスで異なるクライアントを使って作業している場合に便利となる。
差分比較機能により、コラボレーションセッションのユーザは、他のユーザの編集による変更点が通知され、比較することができ、保存するバージョンを選択したり、任意のバージョンのコピーを保存したりすることができる。

実行専用モードでのノートブック共有
ノートブックを共有する際に「実行」操作を個別にチェックできるようになった。受信者はセルを実行することのみ可能となる。

ノートブックリソース .whl ファイルのサポート
ノートブックのリソースエクスプローラーで .whl ファイルのアップロードをサポートした。コンパイルしたライブラリを置き、ドラッグ＆ドロップのコードスニペットでセッションにインストールし、コードでライブラリを便利にインポートできる。

Real-time Analytics

OneLake KQL DB からデルタテーブルへのショートカット
KQL DB から OneLake のデルタテーブルへのショートカットを作成できるようになた。これにより、KQL DB から直接レイクハウスやウェアハウスのデルタテーブルを簡単にクエリできる。

リアルタイムデータ共有：Real-Time Analytics におけるデータベースのショートカットの紹介
Real-Time Analytics のデータベース ショートカットは、Azure Data Explorer のソースデータベースに対する KQL データベース内の埋め込み参照であり、インプレースでのデータ共有を可能にする。
Azure Data Explorer でデータをホストしているデータ所有者が、Fabric のデータ利用者とデータを共有したい場合、データベースのショートカットを作成でき、リアルタイムの共有を可能にする。所有者側でのすべてのデータベースに対する変更は、利用者側で即座に利用できる。
その後、KQL クエリセット、PBI、ノートブックなどを使用して、Fabric でデータを簡単に利用することができる。
現在、Azure Data Explorer データベースから KQL データベースとデータを共有することができるが、まもなくKQL データベースから Fabric内の他のKQL データベース（複数可）とデータを共有することもできるようになる。

サンプルギャラリー
Real-Time Analyticsでは、複数のデータセットを含む包括的なサンプルギャラリーを提供している。
サンプルを選択すると、6つのサンプルデータセットからデータと書き込まれた KQL クエリセットを含む KQL データベースが自動的に作成される。これにより、手間をかけずに KQL データベースと KQL クエリセットを使い始めることができる。

Kusto Query Language (KQL) を使ってデータをグラフとしてモデル化しクエリする
KQL の新機能として、データをグラフとしてモデル化し、クエリできるようになった。グラフのセマンティクスを持つ KQL を使用することで、グラフの柔軟性と表現力を備えた KQL クエリのスピードとスケールを得ることができる。
KQL グラフセマンティクスを使用してグラフをクエリすることができ、シンプルで直感的な構文で、既存の KQL 機能とうまく連動すり。また、グラフクエリを時間ベース、位置情報ベース、機械学習クエリなど他の KQL 機能と組み合わせて、より高度で強力なデータ分析を行うこともできる。

Power BI Desktop から KQL データベースへ簡単に接続可能に
検索する方法は２つ：

1．[データを取得] を開き、［Microsoft Fabric］を選択してリストから [KQL データベース] を選択する。

2．メインリボンから [OneLakeデータハブ] を開き、リストから [KQL データベース] を選択する。

Eventstream がデータ取り込み用に AMQP 形式の接続文字列をサポート
AMQP は Advanced Message Queuing Protocol の略で、幅広いメッセージパターンをサポートするプロトコルであり、IoT デバイスやシステム間の効率的で信頼性の高い通信を促進するために使用されている通信プロトコルである。Eventstream では、カスタム App のソースまたは宛先を作成し、AMQP 形式の接続文字列を選択して Fabric にデータを取り込んだり、Fabric からデータを消費したりできるようになった。

Eventstream が Azure IoT Hub からのデータ取り込みをサポート
Azure IoT Hub は、IoT デバイスからデータを送受信するためのセキュアな通信チャネルを提供するクラウドホスト型のソリューションで、Eventstream を使用すると、Azure IoT Hub のデータを簡単に Fabric にストリーミングし、KQL データベースまたはレイクハウスに格納する前にリアルタイム処理を実行できる。
Azure IoT Hub ソースを追加するには、下記の３つの手順を実施：

1. イベントストリームのソースとして [Azure IoT Hub] を選択する。
2. ソースに名前を付け、Azure IoT Hub の詳細を入力する。クラウド接続を確立するために、Azure IoT Hub から共有アクセスキーを入力する必要がある場合がある。
3. キャンバス上でIoTソースを選択し、[Data Preview] をクリックして、Azure IoT Hub からの受信データのプレビューを取得する。

イベントストリームの作成スピードの向上
イベントストリームのセットアップがこれまで以上に迅速かつスムーズになった。

Data Factory

Data pipelines

• Outlook メールと Teams アクティビティが、共同パイプラインで使用できるようになった。

• Azure Batch アクティビティ利用できるようになった。これにより、Azure Batch からカスタム実行ファイルを実行することができる。また、Azure Functions と KQL スクリプトも使えるようになった。

• パイプライン出力モニタリングビューを更新し、カスタマイズ可能な出力レイアウトでパイプラインの実行状況を表現できるようになった。

• パイプラインのリネージにコネクションのリネージが追加された。

Dataflows Gen2

新しいサービスプリンシパル認証タイプ
データセット、データフロー、Dataflow Gen2、データマートで使用できる一連のデータソースの認証タイプとして、サービスプリンシパルが追加された。
Azure サービスプリンシパルは、アプリケーションベースのセキュリティ ID であり、データソースへのアクセス許可を割り当てることができる。サービスプリンシパルは、ユーザ ID なしでデータに安全に接続するために使用される。
サポートされるデータソースは下記の通り

• Azure Synapse Analytics
• Azure SQL Database
• Azure Data Lake Storage Gen2
• Azure Data Lake
• Azure Blob Storage
• Web
• Dataverse
• SharePoint Online

注：サービスプリンシパルは、オンプレミスのデータゲートウェイおよび仮想ネットワークデータゲートウェイではサポートされない。2023年末までのサポートを予定。

バグ修正と信頼性の向上

• データフローあたり50クエリの制限に関する変更を元に戻す
  データフローが持つことができるクエリ数の制限を再び導入する予定。現在50以上のクエリを持つデータフローがある場合は、複数のデータフローに分割することを推奨する。

• 一般的なエラーメッセージとシナリオに対する複数の修正と改善

• リンクされたエンティティの作成時にデータフローコネクタで発生するエラーを修正