はじめに
OneLake 診断は、OneLake 上のデータアクセス／操作を JSON ログとして Lakehouse に吐き出してくれる機能です。
公式ドキュメントに取れるlog一覧もあり、分かりやすかったのですが、
この記事では、
- ワークスペース1で OneLake 診断を ON にして、指定した Lakehouse にどのように JSON が出力されるか
- もう一つのワークスペースから、同じ Lakehouse を指定したときの挙動
- 触ってみて分かったこと（特に「Delta テーブル化は自前」というポイント）
あたりを、画面キャプチャ中心でサクッと共有します。
log一覧の続きやOneLake診断の詳細はドキュメントを参照ください。
ワークスペース1でまず OneLake 診断をONにしてみる
まずは、WorkspaceMonitoring（ワークスペース1とする） というワークスペースで OneLake 診断を有効化します。
ワークスペースの設定画面から OneLake 診断を ON にし、ログを書き出す Lakehouse を指定します。
早速、指定した Lakehouse のファイルビュー上に OneLake 診断用と思われるフォルダが作成されます。
次に、対象ワークスペース内のレイクハウスでフォルダ名を変更してみました。
すると、すぐに新しい JSON ファイルが1つ追加されています。
ワークスペース2でOneLake診断を有効にし、同じレイクハウスに保存してみる
次に、別のワークスペースでも同じ Lakehouse を OneLake 診断の出力先として指定してみます。
なお、ドキュメントでも複数ワークスペースのOneLake診断ログは１つのレイクハウスに保存することが推奨されています。
すると、先ほどの Lakehouse の中に、フォルダが1つ追加されました。
→ ワークスペースごとにフォルダが分かれているような構成になっており、
複数ワークスペース分のログを、1つの Lakehouse に集約するイメージで使えそうです。
触ってみて分かったこと・所感
ドキュメントには、
ワークスペース レベルで有効にすると、OneLake 診断は、同じ容量内の任意の Lakehouse に JSON ログとしてデータ アクセス イベントをストリーミングします。 これらのログは、分析対応の Delta テーブルに簡単に変換できるため、チームは、使用パターン、上位アクセス項目、および時間の経過に伴う傾向を追跡するダッシュボードとレポートを作成できます。
といった説明がありますが、実際に触ってみると以下のような印象でした。
- OneLake 診断そのものは 「JSON を吐き出してくれるところまで」が機能
- Delta テーブル化、ダッシュボード作成は利用者側で実装が必要
-
ワークスペースごとに OneLake 診断を ON にする必要がある
- ただし、ログの出力先 Lakehouse は複数ワークスペースから同じものを指定できるため、1つの Lakehouse に集約して管理することが可能
-
「どのワークスペースのログを、どの Lakehouse に集約するか」という設計が必要
- たとえば「監査／モニタリング専用 Lakehouse」を1つ決めて、そこに各ワークスペースからログを集める、といったパターンをあらかじめ決めておいたほうがよさそうです
Youtubeもやってます！
FabricやDatabricksについて学べる勉強会を毎月開催！
次回イベント欄から直近のMicrosoft Data Analytics Day(Online) 勉強会ページ移動後、申し込み可能です！