まえおき
ほぼ自分用のメモ。
チャットボットを作るには、Webhookを受ける君を作らないといけない。
普通なら、迷わず AWS LambdaとAPI GatewayとCloudWatch logsを使うと思うし、それがよい。
ただ今回は、諸事情によりMicrosoftのAzureを使わないといけなかった。
Azure Functions使えばいいやん？と思うかもしれない。なんだけどこいつは（慣れていない自分にとっては）とても使いづらい。AWS Lambdaのマネしてくれればいいだけなのに、どうしてこんなものをマイクロソフトはリリースしたんだ？
~~リファレンスやチュートリアルが死ぬほどわかりづらく、すべてのモチベーションを持っていかれたので、~~諦めてAzure VMでサーバー建てて、そこでWebhook受けて返す君を作ることにした。
その際に、Webアプリケーション側でログを取得するだけだと、なんかの拍子にアプリケーションサーバーがエラーで落ちたりしたらログを取りこぼすことになるので、前段のnginx側で、Webhookのログ（JSON）を全部残せるようにした。
nginxでJSONリクエストボディを記録する
デフォルトのLogFormatは
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
このようなもので、POSTした内容は残してくれない。
なので、とりあえずJSONボディを残すために
log_format with_body '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" "$request_body"';
server {
listen 443 ssl;
server_name ....;
ssl_certificate /etc/letsencrypt/live/..../fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/..../privkey.pem;
set_real_ip_from '10.0.0.0/8';
real_ip_header X-Forwarded-For;
proxy_set_header X-Forwarded-Scheme $http_x_forwarded_proto;
proxy_set_header Host $host;
resolver 127.0.0.11 valid=5s;
location /webhook {
if ($request_method !~ ^(POST)$ ) {
return 405;
}
access_log /var/log/nginx/post_webhook.log with_body;
proxy_pass http://localhost:8080;
}
}
こんな感じで $request_body つきのLogFormatを使うようにnginxのconfに書く。（serverやlocationの中にlog_formatディレクティブは書けないっぽく、この位置）
Filebeatでログファイルの位置をカスタマイズ
Filebeatはデフォルトだと /var/log/nginx/access.log を見に行くようになっているので、
- module: nginx
# Access logs
access:
enabled: true
var.paths:
- /var/log/nginx/post_webhook.log
こんな感じにする。
LogstashでJSON文字列を整形する
これが今回のなかで一番ハマった。
nginxで記録したJSONは、エスケープされていて、
{\x22text\x22:\x22abscd\x22,\x22textFormat\x22:\x22plain\x22,\x22type\x22:\x22message\x22,\x22timestamp\x22:\x222019-10-04T18:35:27.5194926Z\x22,\x22localTimestamp\x22:\x222019-10-05T03:35:27.5194926+09:00\x22,\x22id\x22:\x221570214127504\x22,\x22channelId\x22:\x22msteams\x22,\x22serviceUrl\x22:\x22https://smba.trafficmanager.net/apac/\x22,\x22from\x22:{\x22id\x22:\x2229:1EaRHI2dlI.....WPdO92g\x22,\x22name\x22:\x22\xE5\xB2\xA9\xE6\x9C\xA8 \xE7\xA5\x90\xE8\xBC\x94\x22,\x22aadObjectId\x22:\x22541478d2-6a03-47b3-aeb7-8675cdd45db3\x22},\x22conversation\x22:{\x22conversationType\x22:\x22personal\x22,\x22tenantId\x22:\x2215b67c2a-8e8f-4a5d-8e1d-186e9cf06150\x22,\x22id\x22:\x22a:1bDh2aVy.......j5FUCYYG\x22},\x22recipient\x22:{\x22id\x22:\x2228:d5d5e.....6a6\x22,\x22name\x22:\x22CSE bot\x22},\x22entities\x22:[{\x22locale\x22:\x22ja-JP\x22,\x22country\x22:\x22JP\x22,\x22platform\x22:\x22Mac\x22,\x22type\x22:\x22clientInfo\x22}],\x22channelData\x22:{\x22tenant\x22:{\x22id\x22:\x2215b67c2......06150\x22}},\x22locale\x22:\x22ja-JP\x22}
こんな感じになっている。JSONとして解釈するには、 \x22 を " に変換（バックスラッシュのエスケープ解除）しないといけない。
https://www.elastic.co/guide/en/logstash/current/filter-plugins.html を見てみた感じ、unescapeするようなフィルタは（多分）ない。
Rubyフィルタを使ってエスケープ解除する
Rubyスクリプトを使って自由に変換処理が書けるフィルタがあったので、（パフォーマンス的にどうなの？とは気になりつつも）これを使うことにした。
Pythonだと .decode("string_escape") すればいいだけなんだけど、Rubyだとどう書くんだっけ・・・
https://stackoverflow.com/questions/8639642/best-way-to-escape-and-unescape-strings-in-ruby
うーん、、evalかぁ・・・・、、とりあえず eval %Q{"#{s}"} をする処理で一旦やってみることに。
変換処理は Event API っていうやつを使って書く。ver 7.3時点だと
-
event.get('[nginx][access][response_body]')で[nginx][access][response_body]に入っているものが読めて、 -
event.set('[nginx][access][raw_response_body]', raw_response)で[nginx][access][raw_response_body]にraw_responseの値を書き込むことができる
みたいな感じらしい。すっっっごい無理やりだけど、
ruby {
code => "body = event.get('[nginx][access][request_body]'); raw_body = eval %Q{\"#{body}\"}; event.set('raw_request_body', raw_body)"
remove_field => "[nginx][access][request_body]"
}
こんなフィルタを書く。
Elasticsearchは起動するだけでOK
とくに何もやることはなかった。
できあがり
http GET http://localhost:9200/_search してみると...
こんなかんじで、JSONがパースされてElasticsearchにつっこまれていた。うぇい