0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

Alibaba Cloud Advent Calendar 2020

Day 17

Alibaba CloudのKibanaで新型コロナウィルス感染状況を可視化しよう!

Last updated at Posted at 2020-12-17

#前回の続き
前回2020/12/16の投稿の続きとなります。前回はElasticSearchのクラスターを構築してKinabaも同時に立ち上げるところまで実施しました。今回はKinabaのUIを操作して新型コロナウィルス感染状況の各種OpenDataを使って可視化したいと思います。

#データの用意
新型コロナウィルス感染状況について厚生労働省がcsvファイルでオープンデータを公開してくれています。これを使ってみたいと思います。
厚生労働省オープンデータのサイト

いくつかのデータをマージして1つのCSVにして今回は利用しました。
陽性者数、PCR検査実施人数、入院治療等を要する者の数、退院又は療養解除となった者の数、死亡者数のデータをマージしました。
スクリーンショット 2020-12-17 23.53.57.png

ここでKibanaというかElasticSearchのデータ形式の制限なのか、2020/01/16みたいなYYYY/MM/DD 形式だとDate形式で読み込んでもらえず、YYYY-MM-DDの形式にすることで変換がスムーズに行きました。

#データの読み込み
KibanaのUIからデータを読み込むことでElasticSearchのDBにデータを読み込ませることができます。今回導入したのはV7.7.1の画面になりますが様々な形式のデータを読み込めるメニューが用意されています。CSVデータは"Upload data from log file"のメニューから読み込みます。

スクリーンショット 2020-12-17 10.31.41.png
CSVファイルをドラックアンドドロップするだけです。
スクリーンショット 2020-12-17 10.31.58.png

#データのImport
Importを開始する際に、データ形式をチェックする"Override settings"メニューから"Should trim fields"の項目をチェックしてください。各種データがnumber形式で読み込まれます。これをチェックしていないとKeyword形式で読み込まれてしまい、数字として扱われなくなってしまいます。
スクリーンショット 2020-12-18 0.03.50.png
"Override settings"メニューを開いてください。
スクリーンショット 2020-12-18 0.04.00.png
"Should trim fields"の項目をチェックしてください。
スクリーンショット 2020-12-18 0.04.12.png

これでImportしてみます。
スクリーンショット 2020-12-17 10.39.46.png
Import後にビジュアライゼーションのメニュー"Open in Data Visualizer"がすぐ選べるようになっています。
スクリーンショット 2020-12-17 10.39.58.png

#新機能のLensを使ってみる
Visualizerでもグラフ等を作成できるのですが、新機能でベータ提供されているLensを利用してみました。これもドラック&ドロップでグラフが作成できる優れものです。
"Dashboard"メニューを選んで"Create new"を選択します。そうすると様々なグラフパターンとLensのトライアルも表示されます。
スクリーンショット 2020-12-17 23.17.08.png
"Go to Lens"を選んでください。
スクリーンショット 2020-12-17 23.17.18.png
左側のデータ項目を右側のX-axisやY-axisにドラップ&ドロップするだけでグラフが自在に作れます。
スクリーンショット 2020-12-17 23.17.28.png
時系列のヒストグラムにする場合はX-axisに@timestampを入れます。その他のデータも自由に選択します。
スクリーンショット 2020-12-17 23.16.43.png
作ったヒストグラムをSaveするとDashboardに反映されます。2種類のヒストグラムを作ってDashboardに反映してみました。簡単ですね!
スクリーンショット 2020-12-17 23.42.54.png

作ったグラフをURLリンクで共有することができます。サイトなどに埋め込めばデータ分析サイトみたいなものが作れますね!
スクリーンショット 2020-12-18 0.20.57.png

#機械学習機能"Machine Learning"が!
"Machine Learning"というメニューがありとても気になっていますが、今回は詳細に試せませんでした。でも、CSVファイルを読み込んでサマリを分析されたメニューが"Machine Learning"の"Data Visualizer
"でした。その他に"Anomaly Detection"や”Data Frame Analytics”もありますのでこれを今後試さなければですね。
スクリーンショット 2020-12-18 0.26.36.png
このメニューからCSVファイルを読み込むことでも、同じ読み込みができます。
スクリーンショット 2020-12-18 0.26.45.png

#その他にAlibaba Cloudで作るKibana/ElasticSearchで便利なこと
Alibaba Cloudで自動構築されたElasticSearchには様々な必要なPlug-inも同時にインストールしてくれていました。特に日本語化Plug-inのKuromojiが最初からインストールされているのが嬉しいですね。
スクリーンショット 2020-12-17 22.49.06.png
またAlibaba CloudならではのPlug-inも多数用意されています。特に今回の環境には入れていませんでしたがaliyun-knnというものは画像認識のPlug-inでAlibaba CloudのAI研究所「DAMOアカデミー」が開発したものです。これもまた試してみたいですね!
スクリーンショット 2020-12-17 22.48.45.png

#まとめ
・KibanaのUIからElasticSearchにデータを読み込ませ、ビジュアライゼーションまで一気にできます。
・Lensという強力なビジュアライゼーション作成ツールも導入され、どんどん進化していってます。
・データの準備などでは読み込ませるデータ形式に注意しましょう。(本来はKibanaの"Index patterns"メニューなどで定義を行って読み込ませるとスムーズのようです。)
・機械学習機能"Machine Learning"はさらに活用可能性を秘めています。
・Alibaba Cloud独自の環境設定で日本語化環境Plug-inなど事前に導入されていて便利になってます。
・aliyu-xxシリーズのAlibaba Cloud独自Plug-inも画像検索Plug-inなどあり試す価値ありです。

ElasticSearch、Kibanaは本当に便利なツールで、奥も深いツールですね。これからも勉強していきたいと思います。

参考にしたサイト
https://www.elastic.co/jp/
東洋経済Onlineサイト

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?