Splunkとkerasを用いた不正アクセス予測検知の仕組み（前処理編）

やりたいこと

1.Splunkを使い、access.logをCSVに変換　　⇦今回の内容
2.CSVファイルをもとにJupyterLab上で教師データを作る
3.ディープラーニングを用いて、予測精度を確かめる

Splunkを使う理由

将来的にデータの自動取り込みを行うことを想定して、非構造化データの自動収集に定評のあるSplunkを選定。
あわせて、JupyterLabでアドホックに調査・分析・処理するにあたり、使い慣れているCSVファイル形式で行いたい。

環境

・JupyterLab　2.1.4 @ AWS Cloud9
・Python 3
・Splunk Enterprise　8.1 @ AWS EC2

データ取得

検証用で使うaccess.logを入手する。今回はKaggleから頂戴した。

ログファイルを解凍すると3.5GBほどあり、Splunkの無料枠では上限に達するため分割してから取り込むことに。

[ec2-user@ip-192-168-0-5 ~]$ split -b 200MB access.log
[ec2-user@ip-192-168-0-5 ~]$ ll
合計 5447932
-rw-rw-r-- 1 ec2-user ec2-user 3502440823  2月 13  2021 access.log
-rw-r--r-- 1 ec2-user ec2-user  277102492  9月 11 03:00 access.log.zip
-rw-rw-r-- 1 ec2-user ec2-user  200000000  9月 11 03:03 xaa
-rw-rw-r-- 1 ec2-user ec2-user  200000000  9月 11 03:03 xab
-rw-rw-r-- 1 ec2-user ec2-user  200000000  9月 11 03:03 xac
-rw-rw-r-- 1 ec2-user ec2-user  200000000  9月 11 03:03 xad

Splunk取り込み

分割したファイルの内、xaaファイルを利用した。
以後、Web GUIからアップデートを実施。

必要なカラムをCSVファイルに出力する。
以後、出力したCSVファイルを使う。

以上。
【次回】：Splunkとkerasを用いた不正アクセス予測検知の仕組み（教師データ作成編）