取り込み

ヘッダーをみると
日付,国内の感染者数_1日ごとの発表数,国内の感染者数_累計,国内の死者数_1日ごとの発表数,国内の死者数_累計
となっていたのでそのままだとSplunkで処理できないので、一応

date,infected_daily,infected_accum,death_daily,death_accum
として取り込んでみる。

props.conf

[ NHK_CSV ]
pulldown_type=true
PREAMBLE_REGEX=日付
FIELD_NAMES=date,infected_daily,infected_accum,death_daily,death_accum
TIMESTAMP_FIELDS=date
TIME_FORMAT=%Y/%m/%d
SHOULD_LINEMERGE=true
LINE_BREAKER=([\r\n]+)
CHARSET=UTF-8
NO_BINARY_CHECK=true
category=Structured
disabled=false

で準備する。

グラフ

graph.spl

sourcetype="NHK_CSV" earliest=0
| table _time ,infected_daily,infected_accum,death_daily,death_accum

infected_accumを対数のオーバーレイ表示にしている。

定期的にとる。

https://qiita.com/toshikawa/items/ab8eeb4bb997b64bc0af#inputconf%E7%94%A8
を参考にしてもらえれば。

get_csv.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import requests

headers={'accept': 'text/csv', 'content-type': 'text/csv'}
url = 'https://www3.nhk.or.jp/n-data/opendata/coronavirus/nhk_news_covid19_domestic_daily_data.csv'

response=requests.get(url,headers=headers)
response

という簡単なスクリプトで十分だと思う。

inputs.conf

[script:///opt/splunk/etc/app/ourapp/bin/get_csv.py]
disabled = 0
index = foo
interval = 86400
sourcetype = NHK_CSV

とかで読み込み。　

すいません、検証していません。どなたか動くやつをお願いします。

まとめ

GOJASで発表した時はNHKのデータを使用しました。その時はビミョーな感じでしたが今回きちんとした形で利用ができるようになりました。

日本語ヘッダーCSVはどこかで加工しないとSplunkで読み込めないので、

1.ダウンロードした時に加工
2.Splunk側で加工

としないといけないのが厳しいですね。

今、また広がりつつあるので、データを持ってきてみてみてはいかがでしょうか？

Splunkで日本のCOVID19感染状況を表示する（NHKオープンデータ）

取り込み

グラフ

定期的にとる。

まとめ