STEP-2 : Azure Data Explorer の Web UI でデータベースへのクエリを実行する
概要
AWSの「S3 + Athena」 で実行できること、つまり、S3に保存されているJSON形式等のデータ（以下、JSONデータ）を Athenaで提供されているSQLライクな構文を用いてクエリ実行することによりデータ抽出が可能となっています。同様なことをAzure上の「BLOB + Azure Data Explorer」構成においても可能であることを確認しました。なお、「Web UI」と「Pythonプログラム」の両方で実現しております。
この実現を以下の３つのステップで順次説明します。
STEP-1．Azure Data Explorer クラスターとデータベースを作成する
STEP-2．Azure Data Explorer の Web UI でデータベースへのクエリを実行する
STEP-3．Azure Data Explorer の Python ライブラリを使用してデータベースへのクエリを実行する
STEP-1についてはこちらを参照ください。 今回は STEP-2 について説明します。
Azure Data Explorer は、大量のデータのリアルタイム分析を実現するフルマネージドの高速データ分析サービスです。 Azure Data Explorer の Web UI を使用すると、Azure Data Explorer クラスターに接続して、Kusto クエリ言語のコマンドとクエリを作成、実行、共有できます。
ローカル環境
macOS Big Sur 11.1
python 3.8.3
Microsoft Edge 89.0.774.63（Safariでは Azure Data Explorer がうまく動きませんでした）
ローカル上での事前準備
Azure Storega Exploere がインストールされていること。
Azure上での事前準備
STEP-1を完了していること。
今回のクエリー対象となるデータは、この記事 にある「IoTSample-write.py」で 2222件生成したものとなります。
Azure Data Explorer の Web UI の表示
Azure Data Explorer の Web UI を以下の手順で表示します。
１．Azureポータルにサインインします。
２．STEP-1 で作成した Azure Data Explorer クラスター「ituruadxcluster」リソースを選択します。
３．Azure Data Explorer クラスター画面に表示されている「URL」をコピーします
 |
|---|
３．コピーした「URL」をブラウザの新しいタブで開きます。これが Azure Data Explorer の Web UI となります。
 |
|---|
Azure Data Explorer Web UI でデータベースで基本コマンドを実行する
まずは、「.show databases」コマンドを「クエリ ウィンドウ」に入力後、 [実行] を選択します。結果セットには、データベースである 「IoTDummyDatabase」 が表示されることを確認します。
 |
|---|
Azure Data Explorer Web UI でデータベースへのクエリを実行
今回のメインディッシュ、いくつかのサンプルクエリーを実行してみます。
１．次のクエリをコピーしてクエリ ウィンドウに貼り付けます。 ウィンドウの上部にある [実行] を選択します。
# Kusto
iot_tbl
| sort by ['id'] desc
| take 10
このクエリを実行すると、iot_tbl テーブルから最新の 10 レコードが返されます。 結果は次のテーブルのようになります。
 |
|---|
2．次のクエリをコピーしてクエリ ウィンドウに貼り付けます。 ウィンドウの上部にある [実行] を選択します。
# Kusto
iot_tbl
| sort by ['id'] desc
| project ['time'], iot_state, iot_num, section, vol_1, vol_2
| take 10
このクエリを実行すると、iot_tbl テーブルから最新の 10 レコードが返され、表示されるカラムは Kusto の project で定義したもののみとその表示順となります。 結果は次のテーブルのようになります。
 |
|---|
3．次のクエリをコピーしてクエリ ウィンドウに貼り付けます。 ウィンドウの上部にある [実行] を選択します。
# Kusto
iot_tbl
| summarize event_count=count(iot_state) by iot_state
| sort by event_count
| where event_count > 1
| project iot_state, event_count
| render columnchart
このクエリを実行すると、iot_tbl テーブルから iot_state（都道府県）毎のデータ件数をカウントし、件数の多い都道府県から棒グラフで表示されます。 結果は以下のようになります。
 |
|---|
4．次のクエリをコピーしてクエリ ウィンドウに貼り付けます。 ウィンドウの上部にある [実行] を選択します。
# Kusto
iot_tbl
| where section == "C"
このクエリを実行すると、iot_tbl テーブの section カラムの値が "C" のもののみ返されます。 結果は次のテーブルのようになります。
 |
|---|
5．次のクエリをコピーしてクエリ ウィンドウに貼り付けます。 ウィンドウの上部にある [実行] を選択します。
# Kusto
iot_tbl
| where section == "C" or section == "E" or section == "W"
このクエリを実行すると、iot_tbl テーブの section カラムの値が "C","E","W" のもののみ返されます。 結果は次のテーブルのようになります。
 |
|---|
6．次のクエリをコピーしてクエリ ウィンドウに貼り付けます。 ウィンドウの上部にある [実行] を選択します。
# kusto
iot_tbl
| summarize event_count=count(section) by section
| sort by event_count
| where section == "C" or section == "E" or section == "W"
| project section, event_count
| render columnchart
このクエリを実行すると、iot_tbl テーブの section カラムの値が "C","E","W" のもののみを対象に、それ毎のデータ件数をカウントし、件数の多い section から棒グラフで表示されます。 結果は以下のようになります。
 |
|---|
次の最後のステップでは、Azure Data Explorer の Python ライブラリを使用してデータベースへのクエリを実行してみます。
本課題のシリーズ情報
３つのステップ
STEP-1．Azure Data Explorer クラスターとデータベースを作成する
STEP-2．Azure Data Explorer の Web UI でデータベースへのクエリを実行する
STEP-3．Azure Data Explorer の Python ライブラリを使用してデータベースへのクエリを実行する