経緯

とあるサービスでユーザーの行動解析を行う際に、ログデータを受け取ってなるべくリアルタイムに加工して出力するシステムが必要になったので、どう構築していくか調査することになりました。
その際にとても有用だと感じた資料を残しておきます。備忘録です。

概要

ログ管理のベストプラクティス

AWS Japanのソリューションアーキテクトの方の資料です。AWSを使う場合にはたくさんの定石を知ることができて役立ちました。

秒間数万のログをいい感じにするアーキテクチャ

Cookpadのログへの考え方からシステムの変遷まで書かれていて、ログというものへの全体像を実感するのにとても役立ちました

【AWS summit 2016 Tokyo 発表内容】タウンワークにおけるサーバーレスアーキテクチャデザイン

サーバーレスアーキテクチャのパターン別ユースケース

各要素

Kinesis

データの一時受けに便利です。KinesisはStreamsとFirehoseとAnalyticsの3つのサービスにわかれています

Kinesis Streams

Kinesis Streamsの公式ページで、結局ここが一番わかり易いです。

Kinesis Firehose

Kinesis Firehoseの公式ページがとてもわかり易いです。

Amazon Kinesis StreamsとAmazon Kinesis Firehoseは何が違うのか

Amazon Kinesis StreamとAmazon Kinesis FirehoseのAPIを比較する #reinvent

AWS Kinesis Firehoseを動かして見る

KafkaとAWS Kinesisの比較

AWS以外のサービスとの比較、AWSにとらわれないシステム構成などを学ぶことができました

fluent-plugin-kinesisでKinesis Streamsにログを送信する

実用例としてとても参考になりました。

fluent-plugin-kinesis-firehoseでAmazon Kinesis Firehoseにログを転送する

のfirehose版で、こちらも参考になりました。

結合例

ストリーム型(kinesis stream)のAWS Lambdaの同時起動数とデータの取り方を整理

Kinesis Streams と Lambda との組み合わせ方について勉強になりました

Fluentd&Kinesis&Lambdaによる柔軟で高可用性なログ収集基盤の構築

Fluentd -> Kinesis -> Lambda -> [S3, DynamoDB...] などの流れが明快にわかってとても参考になります

API Gateway / Lambda / Kinesis を使ったストリーミングなバッチ実行基盤の実装

考察が乗っていてとてもわかりやすいです

Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる

2つ目の記事に関して解説が追加された記事になります。わかりやすい。

Data Storage

Amazon DynamoDB

公式ですので、とりあえず目を通します

API Gateway

とりあえずAPI Gatewayはとっても便利という印象でした。
EC2がいいのか、API Gateway + Lambdaがいいのかとか色々悩みましたが、そもそもいろんな使い方があることが勉強になります。

以下、入門編という感じで資料です。

API ホスト名としてのカスタムドメイン名の設定 - Amazon API Gateway

【新機能】Amazon API GatewayがACM (AWS Certificate Manager)に対応。簡単に独自ドメインAPIがSSL化。 | Developers.IO

API Gateway リソースの CORS を有効にする - Amazon API Gateway

API Gateway API のリクエストパラメータをマッピングする - Amazon API Gateway

Amazon API GatewayからAWS Lambdaにパラメータを渡す方法 - Qiita

EC2からLambdaへの移行

AWS 謹製 aws-serverless-express を使って APIGateway + Lambda + Node + Express で RESTful サービスの雛形を最速で作る - Qiita

expressでEC2に構築済のサービスをLambdaに移行していきたかったので、役立ちました

AWS LambdaからIAM RoleのCredential情報を取得し、RedshiftのCOPY処理に利用する

結局毎回権限周りであれこれチグハグするので、こうした記事は大変助かります