0
2

More than 3 years have passed since last update.

【学習メモ】Kinesis

Posted at

Kinesis

ストリームデータを収集・処理するためのフルマネージド型サービスで主に3つのサービスで構成される。

・Amazon Kinesis Streams:ストリームデータを処理するアプリケーションを構築。
  ※主要なストリームデータはこのサービスによって使っていく。(代表サービス)
・Amazon Kinesis Firehose:ストリームデータをS3やRedshiftなどへ簡単に配信。
・Amazon Kinesis Analytics:ストリームデータを標準的なSQLクエリでリアルタイムに可視化・分析。
 ※残り二つのサービスは組み合わせで使う。

Amazon Kinesis Streams

ストリーミング処理をシャードに分けて分散させて実行するため高速処理が可能。
(シャードの数によって、データ処理のスピードが変わる。数が多ければ、負荷を分散化して高速処理が可能。)
※シャード:Amazon Kinesis データストリームの基本的なスループットの単位。

データプロデューサー:データ提供側。
データコンシューマー:データ利用側。

Streamsへのデータの格納

reference:https://aws.amazon.com/jp/kinesis/data-streams/getting-started/?nc1=h_ls

データプロデューサーは、Amazon Kinesis データストリームに Amazon Kinesis Data Streams API、Amazon Kinesis Producer Library (KPL)、または Amazon Kinesis Agent を介してデータを格納できます。
kinesis.png

Amazon Kinesis Firehose

各種DBに配信・蓄積するためのストリーム処理を実施する。Lambdaと連携するとETLとしても機能する

Amazon Kinesis Analytics

ストリームデータを標準的なSQLクエリでリアルタイムに分析

0
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
2