この記事は、Microsoft Azure Advent Calendar 2018 のための記事となります。
2018年9月のIgnite でプレビューが発表された Azure Data Explorer (Azure データ エクスプローラー)についてのお話です。 今日現在で東日本及び西日本リージョンでプレビューが開始されています。
本情報の内容(添付文書、リンク先などを含む)は、作成日時点でのものであり、予告なく変更される場合があります
Azure Data Explorer 概要
Azure Data Explorer とは
Microsoft Azure では、プラットフォーム問わずで利用可能な Web アプリケーションのモニタリングのツールとして Application Insights とインフラストラクチャのログモニタリングツールとして Azure Monitor Log Analytics のふたつのログを分析を元にしたソリューションがあります。いずれも、Microsoft Azure のバックエンドの運用監視と同じ Kusto というテクノロジーを使用しており、Azure Data Explorer はこの Kusto エンジンをお客様の任意のデータに対して使用してもらうことができるマネージドサービスです。
Azure Data Explorer の特徴
ログデータや利用統計などのテレメトリデータの検索に向いています。マルチノード構成で動作するため、リニアにスケールするため大容量のデータの探索に向いています。また、Kusto のクエリを使用することで高度なデータ分析が可能です。
ログデータのような非構造化データと json のような構造化されたデータの両方を分析可能で他のサービスやアプリケーションと連携させることによって機械学習等の高度な技術の恩恵を受けることも可能です。
では、早速触ってみましょう!
Azure Data Explorer ことはじめ
全体のながれ
Azure Data Explorer は PaaS (Platform as a Services) や IaaS (Infrastructure as a Services)のいいとこどりをした実装をしており、ほかのデータ解析系のサービスである Azure HDInsight や Azure Databricks のように管理用のサービスから任意のサイズの IaaS インスタンスを使ったノードをクラスターとしてデプロイしその上にデータベースを管理用サービスから構築して使用するという実装をしています。
この一連の流れが驚くほど簡単なので、今回は触ってみることが目的なので、下記のながれのうち、1、2の手順を行った後でWeb UI を使用してクラスタにつないでみます。
- クラスターの作成
- データベースの作成
- データの取り込み
- クエリの実行
- データの視覚化(PowerBI との連携)
Azure Data Explorer クラスターとデータベースを作成する
Azure portal にログインして作業します。詳細はドキュメントクイック スタート: Azure Data Explorer クラスターとデータベースを作成するを参考に。
今回は geisha というクラスターを geisha というリソースグループに作成しました。
余談ですが、Geisha とは美味しいフィンランドのヘーゼルナッツのフィリングが入った🍫の名称です。
作成されたらURIをメモしておきます。(この例では https://geisha.japaneast.kusto.windows.net )です。
Web UI からアクセスする
https://dataexplorer.azure.comもしくは、Azure Portal の
からアクセスします。
接続できました。.show database というクエリを貼り付けて実行します。
この状態では空のクラスターなので、データベースのプロパティのみが表示されます。
次回は実際にデータを投入して触ってみます!
投入用のデータの準備はこちらに書きました!サンタの軌道に思いを馳せたドキュメント型のデータを VS Code で準備する
Microsoft Azure Tech Advent Calendar 2018で公開予定です。おたのしみに。