はじめに
この記事はAWS SAA試験勉強のための、Amazon Kinesisに関する知識のまとめです。
Amazon Kinesisとは
ストリーミングデータをリアルタイムで収集、処理、分析する。
S3バケットに保存されたデータを解析するときは、ストリームデータを解析・変換する必要はありません。
Amazon Kinesis Data Streams
重複されず、到着と同じ順序で伝送することが可能。
Amazon Kinesis Data Streamsを使用して写真を処理するといった仕組みは作れません。
Amazon Kinesis Data Firehose
Amazon Kinesis Data FirehoseはAmazon S3、Amazon Redshift、Amazon OpenSearchサービス、SplunkとHTTP エンドポイント送信先にデータを配信することができるが、Amazon DynamoDBには配信することができない。
- リアルタイムなデータ処理パイプラインには向いていないが、ストリームデータを変換して、蓄積するといった処理に利用される。
- S3イベント通知によりKinesis Data Firehoseを呼び出すことはできない。
- Amazon Kinesis Data Firehoseだけではシンプルなデータ変換処理のみが可能であり、ユーザー独自のカスタムされたデータ変換を実現できない。
Amazon Managed Service for Apache Flink
以前はAmazon Kinesis Data Analyticsと呼ばれていたリアルタイムデータ分析用の機能。ストリーミングデータのクエリ処理に適している。
不正分析を実施することはできない。
※Apache Flinkは、分散ストリーム処理プラットフォームのひとつのOSS。