STEP-3 : InfluxDB経由のGrafanaでのリアルタイムデータ可視化確認
概要
Confluent Platform の「cp-all-in-one」 をベースにローカルのDockerコンテナ環境を構築し、IoTデータ生成Pythonプログラムから送信されるデータを Confluent でストリーミング処理し、InfluxDB＋Grafanaでリアルタイム可視化できることを確認しました。該当する Sink Connector を使用しています。
以下の絵(の記事) の環境をベースに、
Consumer側の可視化の構成を追加する形で確認します。
以下の３つのステップで上記内容を順次説明します。今回は STEP-3 について説明します。
STEP-1．Dockerコンテナ環境での Confluent Platform の追加構築
STEP-2．InfluxDBでのBrokerからのデータ受信確認
STEP-3．InfluxDB経由のGrafanaでのリアルタイムデータ可視化確認
ローカル環境
macOS Big Sur 11.3
python 3.8.3
Docker version 20.10.7, build f0df350 (CPUs:8, Memory:10GB, Swap:1GB)
InfluxDB上でのGrafana実装クエリの事前確認
- ローカルターミナルから「influxdb」に接続し、データベース「IoTSample」アタッチします。
$ docker exec -it influxdb influx
Connected to http://localhost:8086 version 1.8.6
InfluxDB shell version: 1.8.6
>
> precision rfc3339
> use IoTSample
Using database IoTSample
>
２. 次にメジャーメント「topic_201」に Write されてたデータに対し、過去１分間に５秒おきの「vol_1」「vol_2」の平均値を確認します。
> select mean("vol_1"), mean("vol_2") from topic_201 where time > now() - 1m group by time(5s)
>
３. 次にメジャーメント「topic_202」に Write されてたデータに対し、過去１分間に５秒おきのデータ件数の平均値を確認します。
> select count("SECTION") from topic_202 where time > now() - 1m group by time(5s)
>
４. 別のローカルターミナルを立ち上げ、ここにある IoTデータ生成プログラムを実行します。１秒間隔で60件のデータを生成します。
$ python IoTSampleData-v5.py --mode mq --count 60 --wait 1
５. おおよそ１分経過後に再度「2.」のコマンドを実行してみます。５秒間隔で平均値を確認することができます。
> select mean("vol_1"), mean("vol_2") from topic_201 where time > now() - 1m group by time(5s)
name: topic_201
time mean mean_1
---- ---- ------
2021-07-19T05:14:25Z 129.79202807021207 71.001749876844
2021-07-19T05:14:30Z 141.79314837145438 77.21202004901218
2021-07-19T05:14:35Z 142.43826406142995 74.59740864094402
2021-07-19T05:14:40Z 137.8580044308178 81.50934862038898
2021-07-19T05:14:45Z 134.873868501621 61.43409456176089
2021-07-19T05:14:50Z 140.78094848620384 71.32979813250802
2021-07-19T05:14:55Z 145.02310937360227 72.36065514410427
2021-07-19T05:15:00Z 137.3310038804828 72.15488447751763
2021-07-19T05:15:05Z 160.3206197676804 62.23388796505937
2021-07-19T05:15:10Z 161.37451801550156 67.43620910989075
2021-07-19T05:15:15Z 143.62931215874102 79.41971050593733
2021-07-19T05:15:20Z 147.3842739112013 71.52211973488917
2021-07-19T05:15:25Z 120.39914758176593 86.95686303610904
>
６. 続いて、再度「3.」のコマンドを実行してみます。５秒間隔でデータ件数を確認することができます。
> select count("SECTION") from topic_202 where time > now() - 1m group by time(5s)
name: topic_202
time count
---- -----
2021-07-19T05:14:30Z 0
2021-07-19T05:14:35Z 0
2021-07-19T05:14:40Z 1
2021-07-19T05:14:45Z 0
2021-07-19T05:14:50Z 0
2021-07-19T05:14:55Z 0
2021-07-19T05:15:00Z 1
2021-07-19T05:15:05Z 0
2021-07-19T05:15:10Z 0
2021-07-19T05:15:15Z 0
2021-07-19T05:15:20Z 0
2021-07-19T05:15:25Z 0
2021-07-19T05:15:30Z 0
>
この「2.」「3.」の２つのクエリをGrafanaのダッシュボード作成時に参考として使用します。
Grafana と influxdb の接続設定
-
ブラウザから http://localhost:3000 で Grafana へアクセスします。
-
Login画面が表示されるので、「username」と「Password」にデフォルトの「admin」を入力し、「Login」ボタンを押します。デフォルトパスワードの変更を求められますが、無視して画面下部の「Skip」を押します。
-
次に表示される「General / Home」画面で、「DATA SOURCE」を選択します。「Add data source」画面の「Time service databases」リストから「InfluxDB」の「Select」ボタンを押します。
-
次に表示される「Data Source / InfluxDB」画面で、以下の値を後、画面下部の「Save & test」ボタンを押し、正常値の「Data source is working」が表示されるのを確認します。
| カテゴリ | 入力項目 | 値 |
|---|---|---|
| HTTP | URL | http://influxdb:8086 |
| InfluxDB Detailes | Database | IoTSample |
これで、Grafana から InfluxDB の「IoTSample」データベースへのアクセスを確認できました。
Grafana のダッシュボードの作成
-
「General / Home」画面で、「DASHBORDS」を選択します。メジャーメント「topic_201」のデータをグラフ表示するために「New Dashboard」-「Add Panel」画面から「Add an empty panel」を選択します。
-
「New Dashboard / Edit panel」画面が表示されるので、画面右の「Title」に「Vol_1 / Vol_2 平均値」と入力し、その後、画面中央のクエリ編集ボタン（鉛筆マーク）を押し、以下のクエリを入力します。
select mean("vol_1"), mean("vol_2") from topic_201 where time > now() - 5m group by time(5s)
３. データのグラフ表示に問題がなければ（該当期間のデータがなければ、IoTデータ生成プログラムを実行する必要あり）、画面右上の「Apply」のボタンを押します。
４. 次に、ジャーメント「topic_202」のデータをグラフ表示するために、右上の「Add Panel」を押し、新たに表示される「New Dashboard」-「Add Panel」画面から「Add an empty panel」を選択します。
５. 「New Dashboard / Edit panel」画面が表示されるので、画面右の「Title」に「Critical / Error / Warning 件数」と入力し、また、「Graph styles」-「style」で「Bars」を選択します。その後、画面中央のクエリ編集ボタン（鉛筆マーク）を押し、以下のクエリを入力します。
select count("SECTION") from topic_202 where time > now() - 5m group by time(5s)
６. データのグラフ表示に問題がなければ（該当期間のデータがなければ、IoTデータ生成プログラムを実行する必要あり）、画面右上の「Apply」のボタンを押します。
Grafana ダッシュボードでのリアルタイム可視化
-
表示されている「New Dashbord」画面の右側で、「Local browser time」に「Last 5 minutes」を、「Reflash dashbord」に「5s」を選択設定します。
-
ローカルターミナルから IoTデータ生成プログラムを実行します。0.5秒間隔で600件のデータを生成します。
$ python IoTSampleData-v5.py --mode mq --count 600 --wait 0.5
３. IoTデータがリアルタイム表示されることを確認します（開始数秒後の画面と終了直後の画面）。
４. 設定内容を保存しておきます。画面左上のGrafanaアイコンをクリックします。保存確認の画面が表示され、「save dashbord」を選択します。次に表示される画面の「Dashbord name」に「IoTSample」と入力し「Save」ボタンを押します。
５. 最後にダッシュボードの設定内容をエクスポートしておきます。画面上部の星印の右隣にある変なマーク？ をクリックします。新たに表示されるの画面の上部から「Export」を選択します。画面表示が切り替わるので「Save to file」ボタンを押します。
これで正常に、IoTデータ生成プログラム → RabbitMQ → SourceConnector → Broker → SinkConnector → InfluxDB → Grafanaでデータのリアルタイム可視化ができることを確認できました。
本課題のステップ情報
STEP-1．Dockerコンテナ環境での Confluent Platform の追加構築
STEP-2．InfluxDBでのBrokerからのデータ受信確認
STEP-3．InfluxDB経由のGrafanaでのリアルタイムデータ可視化確認