0
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

【学習メモ】Kinesis

Posted at

#Kinesis
ストリームデータを収集・処理するためのフルマネージド型サービスで主に3つのサービスで構成される。

・Amazon Kinesis Streams:ストリームデータを処理するアプリケーションを構築。
  ※主要なストリームデータはこのサービスによって使っていく。(代表サービス)
・Amazon Kinesis Firehose:ストリームデータをS3やRedshiftなどへ簡単に配信。
・Amazon Kinesis Analytics:ストリームデータを標準的なSQLクエリでリアルタイムに可視化・分析。
 ※残り二つのサービスは組み合わせで使う。

##Amazon Kinesis Streams
ストリーミング処理をシャードに分けて分散させて実行するため高速処理が可能。
(シャードの数によって、データ処理のスピードが変わる。数が多ければ、負荷を分散化して高速処理が可能。)
※シャード:Amazon Kinesis データストリームの基本的なスループットの単位。

データプロデューサー:データ提供側。
データコンシューマー:データ利用側。

###Streamsへのデータの格納
reference:https://aws.amazon.com/jp/kinesis/data-streams/getting-started/?nc1=h_ls

データプロデューサーは、Amazon Kinesis データストリームに Amazon Kinesis Data Streams API、Amazon Kinesis Producer Library (KPL)、または Amazon Kinesis Agent を介してデータを格納できます。
kinesis.png

##Amazon Kinesis Firehose
各種DBに配信・蓄積するためのストリーム処理を実施する。Lambdaと連携するとETLとしても機能する

##Amazon Kinesis Analytics
ストリームデータを標準的なSQLクエリでリアルタイムに分析

0
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?