0
0

AWS Kinesis系サービスについて

Posted at

AWS Kinesis

ざっと以下のサービスがある
①Kinesis Data Stream:ストリームデータをリアルタイムに 処理

シャードという単位でデータを取り込み・処理でき、取り込み・処理後の配信では1つのシャードに対して複数のリソースを指定できる(同じデータに対して複数の処理を同時並行で実行可能)

②Kinesis Data Firehose:ストリームデータを 変換・配信

サーバのログ等をs3等のデータ保存サービスに流すことができる。流す際には容量圧迫を見越してデータを圧縮したり予めデータ加工して置いたりすることが可能。
S3にログをファイルとして出力することが可能であり、YYYY/MM/DD/TT:TTの粒度までオブジェクト構造を決めることができる

③Kinesis Data Analytics:ストリームデータを 分析

使ったことないので触ったらまた追記する・・・

アーキの例としては、
①データインプット対象 → Kinesis data stream → Lambda/kinesis data analytics/EC2等
③データインプット対象 → Kinesis data firehose 
→ S3/Redshift等

※ストリームデータというのはシステムログやゲーミングアプリのデータなどの連続して現れ続けるデータのことであり、この場合はパッチ処理などのある一定時間経過後にまとめて処理するのではなく、リアルタイムに処理を実行し続ける(ログを解析してダッシュボード化する・ゲームの情報をリアルタイムに更新しSNSでユーザに訴えかける等)ことが求められます。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0