ゴール
指定のREST API Endpointから情報を定期的に取得する。
ゴール1:取得した情報をマージして、HDFS(あるいはローカルファイル、S3)に保存する
ゴール2:取得したAPIのレスポンスJSONの特定PATHの値を取得する
全体図

手順
REST API コール
InvokeHTTPプロセッサー利用
ScheduleタブのRun schedule値を0 secから 30 secに変更
値マージ:MergeContent
プロセッサー利用

ローカルファイルに保存:PutFileプロセッサー

JSONの特定PATHの値を取得し、組み立て直す
値取得:EvaluateJsonPathプロセッサー利用

ヤフー 天気情報のREST APIアカウント取得
API実行結果
{
"ResultInfo": {
"Count": 1,
"Total": 1,
"Start": 1,
"Status": 200,
"Latency": 0.003801,
"Description": "",
"Copyright": "(C) Yahoo Japan Corporation."
},
"Feature": [
{
"Id": "201810082015_139.73229_35.663613",
"Name": "地点(139.73229,35.663613)の2018年10月08日 20時15分から60分間の天気情報",
"Geometry": {
"Type": "point",
"Coordinates": "139.73229,35.663613"
},
"Property": {
"WeatherAreaCode": 4410,
"WeatherList": {
"Weather": [
{
"Type": "observation",
"Date": "201810082015",
"Rainfall": 0.00
},
{
"Type": "forecast",
"Date": "201810082025",
"Rainfall": 0.00
},
{
"Type": "forecast",
"Date": "201810082035",
"Rainfall": 0.00
},
{
"Type": "forecast",
"Date": "201810082045",
"Rainfall": 0.00
},
{
"Type": "forecast",
"Date": "201810082055",
"Rainfall": 0.00
},
{
"Type": "forecast",
"Date": "201810082105",
"Rainfall": 0.00
},
{
"Type": "forecast",
"Date": "201810082115",
"Rainfall": 0.00
}
]
}
}
}
]
}
特定パスの値取得し、確認する
LogAttribute
で値を随時確認出来る
文字列の変更

provenanceで値を確認

data provenanceページが表示される:
表示したいデータを選ぶ:
