AWSのKinesisに関する基本的な内容をまとめてみたものです。AWSのKinesisに関する、Web上にすでにある解説コンテンツをまとめたサイトの抜粋です。
Amazon Kinesisの概要
Amazon Kinesis:とは
Amazon Kinesis とは、AWSにおけるストリーミングデータ用プラットフォームで、
・クリックストリーム
・アプリケーションログ
・ソーシャルメディア
などのさまざまなデータを処理する事が出来ます。
Amazon Kinesisには次のような特徴があります。
迅速なデータを取得
データが生成された時点でAmazon Kinesisストリームにデータを書き込めるので、データの生成元に障害が発生した場合でも、データが失われる事はありません
リアルタイムのストリーミングデータの分析が可能
Amazon Kinesis Streamsは、リアルタイムでストリーミングデータの分析を行えます
複雑なストリーム処理が行える
Amazon KinesisアプリケーションやデータストリームのDirected Acyclic Graph (DAG) を作成する事で、Amazon Kinesisストリームにデータを追加したり、継続的にストリームの処理が出来ます
トラフィックの増加にも対応可能
一時的にトラフィックが増加しても、データのバッファリングで対応します
Amazon Kinesis Streams
Amazon Kinesis Streamsを使うと、
・ウェブサイトのクリックストリーム
・金融に関する取引情報
・ソーシャルメディアなどのフィード
・IT関連のログ
など数多く分野で、独自のストリーミングデータ処理が行えるアプリケーションを構築出来ます。
Amazon Kinesis Streamsには、
・1 時間何テラバイトに及ぶ何十万件ものデータを、連続的に取得して保存出来る
・Amazon Kinesis Producer Library (KPL) や Amazon Kinesis Client Library (KCL)を使って、容易にアプリケーションが構築可能
・複数のAmazon Kinesis Streamsアプリケーションで、同じストリームを同時に処理出来る
などのメリットもあります。
Amazon Kinesis Firehose
Amazon Kinesis Firehoseを使えば、AWSマネジメントコンソールを数回操作するだけで、ストリーミングデータのキャプチャとロードが簡単に出来ます。
Amazon Kinesis Firehoseは、
・Amazon S3
・Amazon Redshift
・Amazon Elasticsearch Service
と統合されていますので、分析用アプリケーションやツールを用いてストリーミングデータの分析をする事も可能です。
Kineisの料金体系
Amazon Kinesis Streamsは、使ったリソースについての料金を支払うだけなので、前払い金や最低料金はありません。
具体的な料金は、
・シャード
・PUTペイロードユニット
・データの保持期間延長
を使って計算されます。
シャード
Amazon Kinesisのストリームのスループット単位が、シャードです。
1時間にストリーム内で使用するシャード数に応じて、料金が決まります。
PUTペイロードユニット
PUTペイロードユニットについては、100 万件ごとに料金が請求されます。
データの保持期間延長
Amazon Kinesisではデータを24時間保存していますが、最長7日間までデータの保持期間を延長する事も可能です。但し、保持期間を延長すると、シャード時間に対する料金が発生します。
料金が請求されない使い方
・Amazon Kinesisストリームから送信されたレコードの取得
・データの生成元からAmazon Kinesis Streamsへの転送
・Amazon Kinesis Streamsから他のKinesisアプリケーションへのデータ転送
については、無料となっています。
Amazon Kinesisの無料で使える部分を活用する事で、コストを抑えてストリームデータ処理を行う事が出来ます。