頻繁にアクセスしているIPアドレスを調べる

many_session.spl

index=tutorial sourcetype="access_combined_wcookie" 
| stats count as counts range(_time) as duration list(action) min(_time) as firsttime max(_time) as endtime by clientip JSESSIONID
| sort 0  clientip firsttime
| streamstats current=f last(endtime) as endtime_p by clientip
| where firsttime - endtime_p < 300
| convert ctime(firsttime) ctime(endtime)
| top clientip

このログにはJSESSIONID毎にアクセスが分かれるので、前回のアクセスから５分以内にアクセスしているIPアドレスを調べてみた。

結果

clientip	count	percent
87.194.216.51	12	16.666667
211.166.11.101	6	8.333333
107.3.146.207	3	4.166667
97.117.230.183	2	2.777778

87.194.216.51と211.166.11.101についてはなんかいろいろとやっていそう

何をやっているか状況をみてみる

access_timechart.spl

index=tutorial sourcetype="access_combined_wcookie" (clientip=87.194.216.51 OR clientip=211.166.11.101)
| stats count as counts range(_time) as duration list(action) min(_time) as firsttime max(_time) as endtime by clientip JSESSIONID
| sort 0  clientip firsttime
| rename firsttime as _time
| xyseries _time clientip counts

timechartは使ってないけどtimechartで表示してみる。

結果

_time	211.166.11.101	87.194.216.51
2020-05-15 19:43:16		1
2020-05-15 20:33:55	2
2020-05-15 20:46:00		3
2020-05-15 21:44:57	2
2020-05-15 22:35:07	4

ショッピングサイトにこんなアクセスをしてくるのはロクでもないことをしてそう。

解説

statsの集計はほとんど使っていない。
timechartの時間は_timeなので、JSESSIONIDの最初の時刻にしている。
statsの後のxyseriesでトレリスが使えるのはいい発見

アクセス状況を調べる。その２

access_state.spl

index=tutorial sourcetype="access_combined_wcookie" (clientip=87.194.216.51 OR clientip=211.166.11.101) status!=200
| stats list(file) as file list(status) as status by clientip

いわゆる目grep用出力

なにやってるかな〜ってときはstats values()とかstats list()でいったん出力してざっとみるとわかりやすい時がある。

結果

access_state_output.spl

index=tutorial sourcetype="access_combined_wcookie" (clientip=87.194.216.51 OR clientip=211.166.11.101) status!=200
| stats list(file) as file list(status) as status by clientip
| eval tmp=mvzip(file,status)
| stats values(clientip) as clientip by tmp
| mvexpand clientip

tmp	clientip
anna_nicole.html,404	211.166.11.101
anna_nicole.html,404	87.194.216.51
cart.do,400	211.166.11.101
cart.do,400	87.194.216.51
cart.do,403	87.194.216.51
cart.do,406	211.166.11.101
cart.do,406	87.194.216.51
cart.do,408	211.166.11.101
cart.do,408	87.194.216.51
cart.do,500	211.166.11.101

IPアドレスを変えているけど、同じ人がやってそうな雰囲気がする。

不正なproductIdを調べる

status_invalid.spl

index=tutorial sourcetype="access_combined_wcookie" (clientip=87.194.216.51 OR clientip=211.166.11.101) status!=200

これで調べるとproductIdのフィールドの詳細がSF-BVS-G01と出てくる。

invalid_productId.spl

index=tutorial sourcetype="access_combined_wcookie" (clientip=87.194.216.51 OR clientip=211.166.11.101) productId="SF-BVS-G01"
| reverse

戻って、こちらで検索するとcategoryIdがNULLとなっており、なんか設定に問題がありそう。

購買数の多い商品を調べる

must_buy.spl

index=tutorial sourcetype="access_combined_wcookie" action=purchase
| eval prod_cat=categoryId.":".productId
| stats count by clientip prod_cat
| stats sum(count) as total dc(clientip) as clientip by prod_cat
| untable prod_cat type count

今度は指向を変えて、数えてみる
この頃はなんでもトレリス表示

結果

prod_cat	type	count
ACCESSORIES:WC-SH-A01	clientip	108
ACCESSORIES:WC-SH-A01	total	182
ACCESSORIES:WC-SH-A02	clientip	127
ACCESSORIES:WC-SH-A02	total	205
ARCADE:BS-AG-G09	clientip	106
ARCADE:BS-AG-G09	total	151
ARCADE:FI-AG-G08	clientip	104

stats byの第一引数を動かさなければ、xyseries、untableしても問題ないとは。

解説

後々の縦横変換のため、一緒にでてくるフィールドはevalでまとめてあげると楽
２つ目のstatsの結果をuntableしてあげると、trellis表示向けになる。
一括で表示する場合はいらない。

まとめ

trellis表示の練習にはちょうどいいと思いました。

Using Subsearhがあんまり良い例文じゃないのは、subsearch自体がチュートリアルじゃないよねってことなんでしょうね。