Kinesisストリームに対する操作手順

AWSのKinesisに関する基本的な内容をまとめてみたものです。AWSのKinesisに関する、Web上にすでにある解説コンテンツをまとめたサイトの抜粋です。
Kinesisストリームに対する操作手順

Kinesisストリームに対する操作

Kinesisストリームに対して、

・ストリームの作成
・ストリームへのデータの追加
・ストリームからのデータの読み取りと処理

などの操作を行う事が出来ます。

Kinesisストリームの作成手順

AWSにサインアップしてから、
・Amazon Kinesis Management Console
・Amazon Kinesis CreateStream オペレーション
などを使って、Amazon Kinesisストリームを作成出来ます。

Amazon Kinesisストリームのスループットについて、ストリーム内のシャードの数によって決定します。

シャードの数は、以下の式で計算します。

・A＝ストリームに書き込むレコードの平均的サイズ（キロバイト単位で計算して、最も近いKB値に切り上げたもの）
・B＝1秒間にストリームに書き込むレコード数
・C＝ストリームからのデータを同時に使用するKinesisのアプリケーション数
・D=A×B（入力を書き込む時の帯域幅のKB数）
・E=C×D（出力を読み取る時の帯域幅のKB 数）

ストリームで必要なシャード数＝max (D/1000, E/2000)

ストリームへのデータの追加

Amazon Kinesisストリームにデータを追加するには、

・PutRecordオペレーション
・PutRecordsオペレーション
・Amazon Kinesis Producer Library (KPL)
・Amazon Kinesis Agent

などを使います。

PutRecordオペレーション
１つのデータレコードの操作をします

PutRecordsオペレーション
複数のデータレコードの操作をします

Amazon Kinesis Producer Library (KPL)
Amazon Kinesisのストリームに詳細な設定が出来るライブラリ

Amazon Kinesis Agent
Kinesisストリームの操作を行うJava アプリケーション

Kinesisストリームのデータの読み取り

Kinesisストリームのデータは、

・Amazon Kinesis API
・Amazon Kinesis クライアントライブラリ（KCL）

を使って開発したAmazon Kinesisアプリケーションで読み取る事が出来ます。