0
0

More than 1 year has passed since last update.

Amazon Kinesis Data StreamsとAmazon Kinesis Data Firehoseの違い

Posted at

⚫︎Kinesis Data Streams(データ処理できる)
→Amazon Kinesis Data Streamsは、サーバーレスストリーミングデータサービスであり、あらゆる規模のデータストリームを簡単にキャプチャ、処理、保存することを可能にする。

・"リアルタイム"にクリックストリームデータなどの高頻度のイベントデータ用のアプリケーションを構築し、数日ではなく数秒でインサイトにアクセスできるようにする。
この場合、AWS Lambda、Amazon Kinesis Data Analyticsを使用する。

・アプリケーションとサービスのログ、クリックストリームデータ、センサーデータ、およびアプリケーション内のユーザーイベントから、一日あたり数テラバイトのデータを取り込んで収集し、ライブダッシュボードを強化し、メトリクス(※1)を生成し、データレイク(※2)にデータを配信する。

・AWS Lambdaとすばやくペアリングして、環境内のイベント駆動型アプリケーション内で急に発生する事象に、あらゆる規模で対応または調整する。

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
※1 メトリクス:メトリクス(メトリック)とは、定期的にシステムのヘルス情報やパフォーマンス情報を取得し、測定値をグループ化したもの。 たとえば、CPU使用率、メモリ使用率、ディスク使用率、Data I/O、アクセス数などがこれにあたる。
※2 データレイク:データレイクとは情報の湖のこと。
スマホアプリ、IoT デバイス、Web サイト、SNS など、さまざまソースから収集したローデータ(生のデータ)を、非構造化データか構造化データかを問わず、まとめて入れておことができます。
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

⚫︎Kinsis Data Firehose(データ処理できない)
→Amazon Kinesis Data Firehoseは、ストリーミングデータを確実にキャプチャおよび変換し、データレイク、データストア、および分析サービスに配信する、抽出、変換、ロード(ETL)サービス。

・データをAmazon S3にストリーミングし、分析に必要な形式にデータを変換する。処理パイプラインを構築する必要はない。

・サポートされているSecurity Information and Event Management(※1 SIEM)ツールを使用して、ネットワークセキュリティをリアルタイムでモニタリングし、潜在的な脅威が発生したときにアラートを作成する。

・機械学習(ML)モデルを使用して、データストリームを強化し、データを分析して、ストリームが送信先に移動する際に推論エンドポイントを予測する。

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
※1 SIEMとは、ファイアウォールやIDS/IPS、プロキシーなどから出力されるログやデータを一元的に集約し、それらのデータを組み合わせて相関分析を行うことで、ネットワークの監視やサイバー攻撃やマルウェア感染などのインシデントを検知することを目的とした仕組み。
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0