勉強前イメージ
ストリーム処理って感じ
でもなんか種類いっぱいあるみたい
調査
Amazon Kinesis とは
ストリーミングデータをリアルタイムで収集、処理が出来る
フルマネージド型の分析サービスです。
また、スケーラブルでストリーミングデータのサイズに上限はありません。
メリット
- リアルタイム
ストリーミングデータをリアルタイムで取得、バッファ、処理を行います。
- 完全マネージド型
データをストリーミングするために必要なインフラやストレージは準備する必要はありません
- スケーラブル
ストリーミングデータに合わせてスケーラブルを行います
Amazon Kinesis の機能・サービス
Kinesis Data Streams
リアルタイムなデータストリーミングサービスです。
収集データはミリ秒単位で処理することができます。
リアルタイム分析もダッシュボード上で管理でき、異常検知も行います。
登録されたデータは複数のアプリケーションから参照することが出来ます。
Kinesis Data Firehose
登録できるデータとしては、Kinesis Data Streams と同様。
ストリーミングデータを変換して、他のアプリケーションへ自動的にエクスポートを行います。
Kinesis Data Analytics
ストリーミングデータをの処理や集計を行います。
SQLやJavaを使用することが出来ます。
勉強前イメージ
こんなイメージかな？
とりあえずリアルタイムで処理を行えることはわかった。
Data Streams ・・・ リアルタイムのデータの処理
Data Firehose ･･･ 変換してデータ保存？
Data Analytics ・・・ 一定期間集計して処理？