Kinesis
ストリーミングデータをリアルタイムで処理できるサービスです。
Kinesis を利用すると、機械学習、分析、その他のアプリケーションに用いる動画、音声、アプリケーションログ、ウェブサイトのクリックストリーム、IoT テレメトリーデータなどさまざまなデータをリアルタイムで取り込む事が出来ます。
・Kinesis Video Streams
・Kinesis Data Streams
・Kinesis Data Firehose
・Kinesis Data Analytics
もし週末にまとめてデータをS3に送る設定の際に、
データレコードはKinesisストリームに加えられてからデフォルトで24時間以内までアクセスできるように設定されています。現行のアーキテクチャ構成では、ストリームデータは処理のために週末にS3に送信されます。そのためS3に即時に送信していないため24時間超過したデータはアクセスできず、全てのデータが送られていない状況が発生してしまっている可能性が高いです。
Kinesis Data Firehose
ストリーミングデータをデータレイクやデータストア、分析ツールに配信するサービスです。ストリーミングデータをキャプチャして変換しつつ、S3、Redshift、Elasticsearch Serviceにロードします。DynamoDBに配信することはできません。
Kinesis Data Streams
特別なニーズに合わせてストリーミングデータを処理または分析するカスタムアプリケーションを構築できます。
Kinesis アプリケーションは複数のアプリケーションインスタンスを持つことができ、KCLワーカーは各アプリケーションインスタンスに対応する処理ユニットです。レコードプロセッサは、Kinesis Data Streamsのシャードからのデータを処理する処理ユニットです。1 つのワーカーは 1 つまたは複数のレコードプロセッサにマッピングされます。1 つのレコードプロセッサは 1 つのシャードに対応し、そのシャードからのデータレコードを処理します。