【 Azure Data Explorer 分析・可視化編その２】

概要

Azure Data Explorer を使ってみよう！　ということで、以下の３ステップで簡単に說明します

【環境準備編】：Azure Data Explorer 環境を作成し、ADLS Gen2 のデータを抽出します
【可視化編】：Data Explorer でクエリー処理されたデータを可視化し、共有します

今回は【可視化編】の說明となります

Azure Data Explorer
- インジェストの作成
- ダッシュボードの作成
- ダッシュボードの共有
付録
- Azure Workbooks

ローカル環境

macOS Big Sur 11.3
python 3.8.3
Azure CLI 2.28.0

前提条件

Azure環境がすでに用意されていること（テナント/サブスクリプション）
ローカル環境に「azure cli」がインストールされていること。
「Azure Data Explorer を使ってみよう」の【環境準備編】を完了していること

Azure Data Explorer の可視化

Azure Data Explorer インジェストの作成

Azure Data Explorer の Portal に接続します。表示されるデータ管理画面の中央部にあるタグから「継続的なインジェスト」を選択し、「ADLS Gen2 からの取り込み」の「取り込み」ボタンを押します。

表示された「Ingest new data」の「Destination」タブ画面において、以下の値を設定し、画面下部の「Next Source」ボタンを押す

項目	値
Cluster	iturudecluster01.japaneast
Database	database01
Table	Create new table - tbl_nsg

次に表示された「Ingest new data」の「Source」タブ画面において、以下の値を設定し、画面下部の「Next Schema」ボタンを押す

項目	値
Source Type	ADLS Gen2 コンテナーから
インジェストの種類	１回限りで継続的
Select source	コンテナーの選択
Storage subscription	PSP2-01
Storage account	testaccount
Container	etl-cost-data
Table	tbl01
Sample size	1 - 5,000
File Filters - Folder path	ParSubscription_02.json/Subscription=NSG-01
File Filters - File extention	.json

次に表示された「Ingest new data」の「Schema」タブ画面において、以下の値を設定し、画面下部の「Next Summary」ボタンを押す

項目	値
Compression Type	Uncompressed
Data format	JSON
Nexted levels	1
Mapping	tbl_nsg_mapping

最後に「データインジェスト完了」画面が表されます。問題がなければ画面下部の「Close」ボタンを押す

Azure Data Explorer ダッシュボードの作成

Azure Portal の「Azure Data Explorer クラスター」画面の左側から「概要」を選択し、「基本」にある URL をコピーておきます。

Azure Data Explorer のポータル画面の左側から「ダッシュボード」を選択し、「Create new dashboard」ボタンを押します。次に表示される画面の「Dashboard　name」欄に「Dashboard-iapp」と入力し「Create」ボタンを押します。

新たに表示される画面中央にある「+ Add title」ボタンを押し、次に表示される画面下部の「+ Data source」ボタンを押します。

画面左に表示される「Create new data source」画面に以下の値を設定し、その画面下部の「Apply」ボタンを押します。

※ Cluster URI 入力後、「Connect」ボタンを押すと、Databaseが自動的に表示されます。

項目	値
Data source type	Kusto
Data source name	CostNSG
Cluster URI	https://iturudecluster01.japaneast.kusto.windows.net
Database	database01

次に表示される「クエリウィンドウ」に以下を入力し、実行します。「Results ウィンドウ」その結果が表示されます。

tbl_nsg
| sort by ['Date'] asc

「Results ウィンドウ」から「Visual ウィンドウ」に切り替え、画面右に表示される「Visual formatting」プロパティの値を適当に入力します。

項目	値（例）
Tile Name	NSG Cost Daily
Visual type	Line chart
Y columns	UsageCost
X columns	Date
Series columns	ResourceGroup
Y軸 Lavel	UsageCost
X軸 Lavel	Date

上記プロパティ設定後、以下のようなグラフが表示されます。問題なければ画面上部の「Apply changes」もしくは「Save changes」ボタンを押して保存します。

Azure Data Explorer ダッシュボードの共有

ダッシュボードへのアクセス許可

Azure Data Explorer のポータル画面の左側から「ダッシュボード」を選択し、先程作成した「Dashboard-iapp」を選択します。次に表示される画面上部の「Share」から「Manage permissions」を選択します。

その後、画面右側に「Dashboard permission Dashboard-iapp」が表示されるので、アクセス許可を与えたいグループもしくは個人に「Can View」の権限を付与し、右側「Add」ボタンを押します。対象となる全てにアクセス許可を付与し終えたら、最後に画面下部にある「Copy Link」ボタンを押し、共有のためのURL情報をどこかにコピーしておきます。

コピーサンプル＞ https://dataexplorer.azure.com/dashboards/eeeeeeee-xxxx-yyyy-zzzz-ffffffffffff）

クラスターのデータベースへのアクセス許可

Azure Portal の「Azure Data Explorer クラスター」画面の左側から「データベース」を選択し、データベース一覧に表示されている中から対象となるデータベース「database01」を選択します。

次に表示される画面左側から「アクセス許可」を選択肢、画面上部の「+追加」から「User」アクセス許可を選択します。

新たに画面右側に表示される「新しいプリンシパル」において、アクセス許可を与えたいグループもしくは個人を選択し、画面下部の「選択」ボタンを押します。

共有リンクへのアクセス

上記でアクセス許可を与えた方に共有のためのURL情報を教え、ブラウザ経由でアクセスを確認してもらいます。問題なくアクセスできれば、作成したグラフが表示されます。

まとめ

Azure Data Explorer で連携されている workbooks によるデータの可視化共有は表示がプア（個人的見解）なので、Azure Data Explorer のダッシュボード（プレビュー）を利用して、データの可視化共有をおこないました。早期にGAされることを願ってます、、、、、、

付録 - Azure Workbooks

Azure Data Explorer で連携されている workbooks によるデータの可視化は以下のようになります。

Azure Portal の「Azure Data Explorer クラスター」画面の左側から「workbooks」を選択し、画面上部の「＋新規」タブを選択します。次に表示される画面で「＋追加」から「クエリの追加」を選択します。

新たに表示される画面上部の入力欄に以下を入力します。

項目	値
データソース	Azure Data Explorer
クラスター名	https://iturudecluster01.japaneast.kusto.windows.net
データベース名	database01
視覚化	折れ線
サイズ	中
凡例	値の合計

その下の「クエリウィンドウ」に以下を入力し、実行します。「Results ウィンドウ」その結果が表示されます。

tbl_nsg
| sort by ['Date'] asc