AWSのKinesisに関する基本的な内容をまとめてみたものです。AWSのKinesisに関する、Web上にすでにある解説コンテンツをまとめたサイトの抜粋です。
[Amazon Kinesisの概要] (https://www.techcrowd.jp/kinesis/summary-5/)
[Amazon Kinesis:とは] (https://www.techcrowd.jp/kinesis/summary-5/)
Amazon Kinesis とは、AWSにおけるストリーミングデータ用プラットフォームで、
・クリックストリーム
・アプリケーションログ
・ソーシャルメディア
などのさまざまなデータを処理する事が出来ます。
Amazon Kinesisには次のような特徴があります。
迅速なデータを取得
データが生成された時点でAmazon Kinesisストリームにデータを書き込めるので、データの生成元に障害が発生した場合でも、データが失われる事はありません
リアルタイムのストリーミングデータの分析が可能
Amazon Kinesis Streamsは、リアルタイムでストリーミングデータの分析を行えます
複雑なストリーム処理が行える
Amazon KinesisアプリケーションやデータストリームのDirected Acyclic Graph (DAG) を作成する事で、Amazon Kinesisストリームにデータを追加したり、継続的にストリームの処理が出来ます
トラフィックの増加にも対応可能
一時的にトラフィックが増加しても、データのバッファリングで対応します
[Amazon Kinesis Streams] (https://www.techcrowd.jp/kinesis/summary-5/)
Amazon Kinesis Streamsを使うと、
・ウェブサイトのクリックストリーム
・金融に関する取引情報
・ソーシャルメディアなどのフィード
・IT関連のログ
など数多く分野で、独自のストリーミングデータ処理が行えるアプリケーションを構築出来ます。
Amazon Kinesis Streamsには、
・1 時間何テラバイトに及ぶ何十万件ものデータを、連続的に取得して保存出来る
・Amazon Kinesis Producer Library (KPL) や Amazon Kinesis Client Library (KCL)を使って、容易にアプリケーションが構築可能
・複数のAmazon Kinesis Streamsアプリケーションで、同じストリームを同時に処理出来る
などのメリットもあります。
[Amazon Kinesis Firehose] (https://www.techcrowd.jp/kinesis/summary-5/)
Amazon Kinesis Firehoseを使えば、AWSマネジメントコンソールを数回操作するだけで、ストリーミングデータのキャプチャとロードが簡単に出来ます。
Amazon Kinesis Firehoseは、
・Amazon S3
・Amazon Redshift
・Amazon Elasticsearch Service
と統合されていますので、分析用アプリケーションやツールを用いてストリーミングデータの分析をする事も可能です。
[Kineisの料金体系] (https://www.techcrowd.jp/kinesis/price-3/)
Amazon Kinesis Streamsは、使ったリソースについての料金を支払うだけなので、前払い金や最低料金はありません。
具体的な料金は、
・シャード
・PUTペイロードユニット
・データの保持期間延長
を使って計算されます。
シャード
Amazon Kinesisのストリームのスループット単位が、シャードです。
1時間にストリーム内で使用するシャード数に応じて、料金が決まります。
PUTペイロードユニット
PUTペイロードユニットについては、100 万件ごとに料金が請求されます。
データの保持期間延長
Amazon Kinesisではデータを24時間保存していますが、最長7日間までデータの保持期間を延長する事も可能です。但し、保持期間を延長すると、シャード時間に対する料金が発生します。
料金が請求されない使い方
・Amazon Kinesisストリームから送信されたレコードの取得
・データの生成元からAmazon Kinesis Streamsへの転送
・Amazon Kinesis Streamsから他のKinesisアプリケーションへのデータ転送
については、無料となっています。
Amazon Kinesisの無料で使える部分を活用する事で、コストを抑えてストリームデータ処理を行う事が出来ます。