はじめに

前に、書いた以下記事を見ていただいた方へ。実際に本番環境で試す前にそもそもstreamデータってどれほど見えるものなのか触れてみたいなという方向けにSAMPLEデータとその使い方の紹介です
- AWS VPC Traffic Mirroringを使ってFraud監視をスタート!
会員系Webサイトに対する不正ログインの監視や不正決済などの兆候を捉えるためにSplunk Stream Appによるhttpトラフィックの分析が便利です
- 認証イベントが記録されたアプリケーションのログがすぐに用意できない（アプリ改修が必要）などの状況においてStreamを使ってネットワークレイヤーでキャプチャして監視ができるため
- もちろん、Webサイトは通常httpsで提供しているので、SSLアクセラレータなどで復号済みのhttpトラフィックをモニターする必要はあります
そこで、Splunk StreamでキャプチャしたhttpトラフィックがSplunkに入ることでどのように調査、分析ができるのかを体験するのにBOTSv2のdataを使ってみてみたいと思います
BOTSデータのいいところ
- すでにindex済みのデータのため、Splunkに取り込んでもライセンスを消費しないで利用できる
BOTSv2データはFrothly社という架空の飲料メーカーに起きたインシデントを調査していくという背景が用意されています
- 不正ログインはFrothly社のECサイト(store.froth.ly)において発生した体になっています。

作り方

BOTSv2データを準備する

前提：Splunkをインストール済みの環境がある状態
SplunkインスタンスにCLIログインして、以下サイトからBOTSv2のattack onlyデータを直接wgetでダウンロードします
- https://github.com/splunk/botsv2

# appフォルダ配下に移動します
cd /opt/splunk/etc/apps

# dataのダウンロード
wget https://s3.amazonaws.com/botsdataset/botsv2/botsv2_data_set_attack_only.tgz

# appフォルダ配下に展開します
tar zxvf botsv2_data_set_attack_only.tgz 

# 以下フォルダが生成されることを確認
botsv2_data_set

# ゴミは削除しておきます
rm botsv2_data_set_attack_only.tgz 

# Splunk再起動
/opt/splunk/bin/splunk restart

SPLを試す

データが検索できることを確認
- stream:httpの分析を行う際は、2017/8/1-2017/8/31にかけての時間範囲で選択して検索してください

SPL

index=botsv2 sourcetype=stream:http

8月の間に複数の異なる地域からアクセスのあったアカウントを特定する

いわゆるリスト型攻撃を想定したときの初歩的な監視例です。
Webサイトの利用状況からして、利用者が国をまたいでサービスにログインしてくることが割合として低い場合、以下のようなサーチで傾向をみることができます

SPL

index=botsv2 sourcetype="stream:http"
| rex field=form_data "login\[username\]=(?<web_user>[^&|^$]+)" 
|search web_user=*@*
|iplocation src
|eval ipcon = src + "_" + Country
|stats count  values(ipcon) by web_user
|sort - count

# 解説
# まず2行目でいきなりrexコマンドをつかって、正規表現をもとにECサイトへのログインユーザ情報を抽出しています
# 3行目でログインユーザがメールアドレス形式のものにフィルタ
# 4行目でsrcのIPアドレスにGeo情報をエンリッチします
# 5行目でsrcと国名をくっつけたipconフィールドを新たに生成します
# 6行目でweb_user別に集計をおこないます
# 7行目で降順にソートをかけます

サーチ結果

Tom2014のアカウントは3つの異なる国から計5回もログイン試行があったことがわかります。

傾向監視用のダッシュボードSAMPLEを適用して見てみる

そのままはりつけて利用できるXMLはこちらです
- odorusatoshi
  /
  fraud_monitor_with_stream
このような画面が用意できます。ぜひ試してみてください。

最後に

上で例示したSPLとダッシュボードを実環境のstream:httpデータで適用した場合、色々とチューニングは必要だと思います
そのための叩き台として参考いただけると幸いです