はじめに
1時間でこんなダッシュボード作ってみたくありませんか？
棒グラフ、円グラフ、表グラフの3つを覚えるだけでできるんです！
本投稿の内容
Amazon Elasticsearch Service (以降、AES)に取り込んだログを使って
汎用的に使えるKibanaのダッシュボードを作成する方法を紹介します。
どんなログを利用しても同じようなダッシュボードの作成が可能です。
利用するデータ
今回利用するログはAurora PostgreSQLの監査ログになります。
以下、利用するログデータのデータ構造になります。
| フィールド (論理名) | フィールド名 (物理名) | 値 (サンプル) | データ型 | Kibanaで利用 |
|---|---|---|---|---|
| タイムスタンプ | timestamp | 2020-10-19 10:49:24 | 日付型 | ◯ |
| IPアドレス | ipaddress | 172.31.41.200 | IP型 | ◯ |
| ポート番号 | src_port | 44050 | 文字列型 (keyword) | - |
| ユーザ名 | username | postgres | 文字列型 (keyword) | ◯ |
| データベース名 | database | postgres | 文字列型 (keyword) | ◯ |
| プロセスID | process_id | 27653 | 文字列型 (keyword) | - |
| ログレベル | log_level | LOG | 文字列型 (keyword) | - |
| ログタイプ | log_type | AUDIT | 文字列型 (keyword) | - |
| 認証タイプ | audit_type | OBJECT | 文字列型 (keyword) | - |
| ステートメントID | statement_id | 1 | 文字列型 (keyword) | - |
| サブステートメントID | substatement_id | 1 | 文字列型 (keyword) | - |
| クラス | class | READ | 文字列型 (keyword) | - |
| コマンド | command | SELECT | 文字列型 (keyword) | ◯ |
| オブジェクトタイプ | object_type | TABLE | 文字列型 (keyword) | - |
| オブジェクト名 | object_name | public.tessttable | 文字列型 (keyword) | ◯ |
| クエリ文 | statement | select * from testtable; | 文字列型 (text) | ◯ |
| パラメータ | parameter | <not logged> | 文字列型 (keyword) | - |
ログの取り込み方法は、以下を参考にして頂ければと思います。 (多少、オブジェクトの命名が異なります)
【参考】
・ Aurora PostgreSQLの監査ログをAmazon ESに取り込んでみた
利用環境
| 項目 | 内容 |
|---|---|
| Elasticsearch | 7.9.1 (latest) |
| Kibana | 7.9.1 (latest) |
※投稿時点における最新版を採用しています。
実施手順
以下の手順でダッシュボードを作成します。
- 棒グラフの作成
- 円グラフの作成
- 表グラフの作成
- 検索条件の作成
- ダッシュボードの作成
1. 棒グラフの作成
- Kibanaにログインします。
- [Visualize]でCreate new visualizationをクリックします。
Vertical Barをクリックします。
PostgreSQLの監査ログが格納されているIndex Patternsを選択します。
- Y軸のラベル名を好きな名前に変更します。 (今回は、ログ件数としています)
- X軸を定義するため、Bucketsを[+Add]でX-axisをクリックします。
- X軸に日付型のフィールドを利用するため、Data Histogramを利用して、❶〜❸を指定します。
- [Panel settings]でShow X-axis linesをオンにします。 (少しだけイケてる感じにします)
- 下部の[Update]をクリックし、設定をグラフに反映させます。
- 棒グラフが表示されれば完了です。上部の[Save]ボタンをクリックして保存します。
- 好きな名前をつけて保存します。(今回は、PostgreSQL_AuditLog_VarChartとしています)
2. 円グラフの作成
- 次はPieをクリックし、円グラフを作成します。
- Index Patternsは先程の棒グラフと同様PostgreSQLの監査ログの入っているものを選択します。
- 凡例のラベル名を好きな名前に変更します。 (今回は、ログ件数としています)
- 円グラフの内訳を定義するため、Bucketsを[+Add]でSplit slicesをクリックします。
- usernameフィールドの上位10件+それ以外を「その他」として表示させるため、❶〜❼を実施します。
- 円グラフが表示されれば完了です。上部の[Save]ボタンをクリックして保存します。
- 好きな名前をつけて保存します。(今回は、PostgreSQL_AuditLog_Pie_Usernameとしています)
- 上記の方法で以下の円グラフも作成します。(グラフごとの違いだけをまとめています)
| # | Field (利用するフィールド) | Custom label | Title (グラフ名) |
|---|---|---|---|
| 1 | ipaddress | 送信元IPアドレス | PostgreSQL_AuditLog_Pie_IPAddress |
| 2 | database | データベース名 | PostgreSQL_AuditLog_Pie_Database |
| 3 | command | SQL種別 | PostgreSQL_AuditLog_Pie_Command |
| 4 | object_name | テーブル名 | PostgreSQL_AuditLog_Pie_ObjectName |
3. 表グラフの作成
- 次はData Tebleをクリックし、表グラフを作成します。
- Index Patternsは先程の棒グラフと同様PostgreSQLの監査ログの入っているものを選択します。
- 凡例のラベル名を好きな名前に変更します。 (今回は、ログ件数としています)
- 表グラフの内訳を定義するため、Bucketsを[+Add]でSplit rowsをクリックします。
- usernameフィールドの上位10件+それ以外を「その他」として表示させるため、❶〜❼を実施します。
- 11位以下をその他として表示するため、❶と❷を設定し、[Update]をクリックします。
- 表グラフが表示されれば完了です。上部の[Save]ボタンをクリックして保存します。
- 好きな名前をつけて保存します。(今回は、PostgreSQL_AuditLog_DataTable_Usernameとしています)
- 上記の方法で以下の表グラフも作成します。(グラフごとの違いだけをまとめています)
| # | Field (利用するフィールド) | Custom label | Title (グラフ名) |
|---|---|---|---|
| 1 | ipaddress | 送信元IPアドレス | PostgreSQL_AuditLog_DataTable_IPAddress |
| 2 | database | データベース名 | PostgreSQL_AuditLog_DataTable_Database |
| 3 | command | SQL種別 | PostgreSQL_AuditLog_DataTable_Command |
| 4 | object_name | テーブル名 | PostgreSQL_AuditLog_DataTable_ObjectName |
4. 検索条件の作成
- 最後に少しグラフとは異なりますが、[Discover]を使って検索条件を作成します。
- [Discover]に移動し、Available fieldsから下記フィールドで[add]をします。
- ipaddress
- database
- command
- object_name
- statement
- username
- Selected fieldsに上記フィールドがあることを確認し、❷の並びに表示を並び替えます。
- 好きな名前をつけて保存します。(今回は、PostgreSQL_AuditLog_Searchとしています)
5. ダッシュボードの作成
- [Dashboard]でCreate new dashboardをクリックします。
- Add an existingをクリックし、ここまで作成してきたアイテムを利用します。
- PostgreSQL _AutidLogから始まるアイテムを全てダッシュボードに追加します。
- 棒グラフ、円グラフ、表グラフ、検索条件の順に上から整頓して配置します。
- プロットしたグラフ(ここではパネル)の右上のボタンをクリックし、Edit panel titleを選択します。
- 分かりやすいグラフの名前をつけて保存します。
- 今回のダッシュボードでは下記のようにパネル名を変更しています。
| # | Title (グラフ名) | Panel title (パネル名) |
|---|---|---|
| 1 | PostgreSQL_AuditLog_VarChart | ログ件数推移 |
| 2 | PostgreSQL_AuditLog_Pie_Username | ユーザ名_割合 |
| 3 | PostgreSQL_AuditLog_Pie_IPAddress | 送信元IPアドレス_割合 |
| 4 | PostgreSQL_AuditLog_Pie_Database | データベース名_割合 |
| 5 | PostgreSQL_AuditLog_Pie_ObjectName | テーブル名_割合 |
| 6 | PostgreSQL_AuditLog_Pie_Command | SQL種別_割合 |
| 7 | PostgreSQL_AuditLog_DataTable_Username | ユーザ名_Top10 |
| 8 | PostgreSQL_AuditLog_DataTable_IPAddress | 送信元IPアドレス_Top10 |
| 9 | PostgreSQL_AuditLog_DataTable_Database | データベース名_Top10 |
| 10 | PostgreSQL_AuditLog_DataTable_ObjectName | テーブル名_Top10 |
| 11 | PostgreSQL_AuditLog_DataTable_Command | SQL種別_Top10 |
| 12 | PostgreSQL_AuditLog_PostgreSQL_AuditLog_Search | ログ一覧 |
- 上部の[Save]ボタンをクリックして保存します。
- 好きな名前をつけて保存します。(今回は、PostgreSQL_AuditLog_Dashboardとしています)
まとめ
さて、いかがでしたでしょうか？
このようなダッシュボードを作成しておくとそれぞれのパネルで絞り込みたい項目で
[+]や[-]を使ってフィルタするとその条件に合わせて、ダッシュボードの内容が瞬時に再検索がかかります。
これがKibanaの優位性の１つだと私は思っています^^
皆様もぜひ、試して頂けると幸いです！
基本ができたら、次はヒートマップや地図グラフ、TSVBなどの
高度なVisualizaionを使っていくのが良いと思っています^^