前回の続き

前回2020/12/16の投稿の続きとなります。前回はElasticSearchのクラスターを構築してKinabaも同時に立ち上げるところまで実施しました。今回はKinabaのUIを操作して新型コロナウィルス感染状況の各種OpenDataを使って可視化したいと思います。

データの用意

新型コロナウィルス感染状況について厚生労働省がcsvファイルでオープンデータを公開してくれています。これを使ってみたいと思います。
厚生労働省オープンデータのサイト

いくつかのデータをマージして1つのCSVにして今回は利用しました。
陽性者数、PCR検査実施人数、入院治療等を要する者の数、退院又は療養解除となった者の数、死亡者数のデータをマージしました。

ここでKibanaというかElasticSearchのデータ形式の制限なのか、2020/01/16みたいなYYYY/MM/DD 形式だとDate形式で読み込んでもらえず、YYYY-MM-DDの形式にすることで変換がスムーズに行きました。

データの読み込み

KibanaのUIからデータを読み込むことでElasticSearchのDBにデータを読み込ませることができます。今回導入したのはV7.7.1の画面になりますが様々な形式のデータを読み込めるメニューが用意されています。CSVデータは"Upload data from log file"のメニューから読み込みます。

CSVファイルをドラックアンドドロップするだけです。

データのImport

Importを開始する際に、データ形式をチェックする"Override settings"メニューから"Should trim fields"の項目をチェックしてください。各種データがnumber形式で読み込まれます。これをチェックしていないとKeyword形式で読み込まれてしまい、数字として扱われなくなってしまいます。

"Override settings"メニューを開いてください。

"Should trim fields"の項目をチェックしてください。

これでImportしてみます。

Import後にビジュアライゼーションのメニュー"Open in Data Visualizer"がすぐ選べるようになっています。

新機能のLensを使ってみる

Visualizerでもグラフ等を作成できるのですが、新機能でベータ提供されているLensを利用してみました。これもドラック＆ドロップでグラフが作成できる優れものです。
"Dashboard"メニューを選んで"Create new"を選択します。そうすると様々なグラフパターンとLensのトライアルも表示されます。

"Go to Lens"を選んでください。

左側のデータ項目を右側のX-axisやY-axisにドラップ＆ドロップするだけでグラフが自在に作れます。

時系列のヒストグラムにする場合はX-axisに@timestampを入れます。その他のデータも自由に選択します。

作ったヒストグラムをSaveするとDashboardに反映されます。２種類のヒストグラムを作ってDashboardに反映してみました。簡単ですね！

作ったグラフをURLリンクで共有することができます。サイトなどに埋め込めばデータ分析サイトみたいなものが作れますね！

機械学習機能"Machine Learning"が！

"Machine Learning"というメニューがありとても気になっていますが、今回は詳細に試せませんでした。でも、CSVファイルを読み込んでサマリを分析されたメニューが"Machine Learning"の"Data Visualizer
"でした。その他に"Anomaly Detection"や”Data Frame Analytics”もありますのでこれを今後試さなければですね。

このメニューからCSVファイルを読み込むことでも、同じ読み込みができます。

その他にAlibaba Cloudで作るKibana/ElasticSearchで便利なこと

Alibaba Cloudで自動構築されたElasticSearchには様々な必要なPlug-inも同時にインストールしてくれていました。特に日本語化Plug-inのKuromojiが最初からインストールされているのが嬉しいですね。

またAlibaba CloudならではのPlug-inも多数用意されています。特に今回の環境には入れていませんでしたがaliyun-knnというものは画像認識のPlug-inでAlibaba CloudのAI研究所「DAMOアカデミー」が開発したものです。これもまた試してみたいですね！

まとめ

・KibanaのUIからElasticSearchにデータを読み込ませ、ビジュアライゼーションまで一気にできます。
・Lensという強力なビジュアライゼーション作成ツールも導入され、どんどん進化していってます。
・データの準備などでは読み込ませるデータ形式に注意しましょう。（本来はKibanaの"Index patterns"メニューなどで定義を行って読み込ませるとスムーズのようです。）
・機械学習機能"Machine Learning"はさらに活用可能性を秘めています。
・Alibaba Cloud独自の環境設定で日本語化環境Plug-inなど事前に導入されていて便利になってます。
・aliyu-xxシリーズのAlibaba Cloud独自Plug-inも画像検索Plug-inなどあり試す価値ありです。

ElasticSearch、Kibanaは本当に便利なツールで、奥も深いツールですね。これからも勉強していきたいと思います。

参考にしたサイト
https://www.elastic.co/jp/
東洋経済Onlineサイト