#Kinesis
ストリームデータを収集・処理するためのフルマネージド型サービスで主に3つのサービスで構成される。
・Amazon Kinesis Streams:ストリームデータを処理するアプリケーションを構築。
※主要なストリームデータはこのサービスによって使っていく。(代表サービス)
・Amazon Kinesis Firehose:ストリームデータをS3やRedshiftなどへ簡単に配信。
・Amazon Kinesis Analytics:ストリームデータを標準的なSQLクエリでリアルタイムに可視化・分析。
※残り二つのサービスは組み合わせで使う。
##Amazon Kinesis Streams
ストリーミング処理をシャードに分けて分散させて実行するため高速処理が可能。
(シャードの数によって、データ処理のスピードが変わる。数が多ければ、負荷を分散化して高速処理が可能。)
※シャード:Amazon Kinesis データストリームの基本的なスループットの単位。
データプロデューサー:データ提供側。
データコンシューマー:データ利用側。
###Streamsへのデータの格納
reference:https://aws.amazon.com/jp/kinesis/data-streams/getting-started/?nc1=h_ls
データプロデューサーは、Amazon Kinesis データストリームに Amazon Kinesis Data Streams API、Amazon Kinesis Producer Library (KPL)、または Amazon Kinesis Agent を介してデータを格納できます。
##Amazon Kinesis Firehose
各種DBに配信・蓄積するためのストリーム処理を実施する。Lambdaと連携するとETLとしても機能する
##Amazon Kinesis Analytics
ストリームデータを標準的なSQLクエリでリアルタイムに分析