AWSのKinesisに関する基本的な内容をまとめてみたものです。AWSのKinesisに関する、Web上にすでにある解説コンテンツをまとめたサイトの抜粋です。
Kinesisストリームの構成と操作
Kinesisストリームにおけるスループットの基本単位
シャードはAmazon Kinesisストリームにおけるスループットの基本単位で、シャードの数を指定してKinesisストリームを作成します。
1シャードで、
・1MB/秒のデータ入力
・2MB/秒のデータ出力
が可能で、1 秒で最大1000件までのPUTレコードの処理が出来ます。
Kinesisストリームに格納されるデータの単位
Amazon Kinesisストリームに格納されるデータの単位が、レコードです。
レコードは、
・シーケンス番号
・パーティションキー
・データ BLOB
から構成されます。
データ BLOBが処理対象のデータで、最大1メガバイトまでストリームに組み込む事が可能です。
パーティションキーはストリームにデータを組み込む時に設定されて、レコードを分離してストリームの異なるシャードにルーティングされる際に使われます。
リシャーディング: ストリーム内のシャードの数の調整
Amazon Kinesisストリーム内のシャードの数を調整する事を、リシャーディングと呼びます。
リシャーディングでは、
・シャードの分割
・シャードの結合
の2種類の操作が行われます。
シャードの分割
1つのシャードを2つのシャードに分割して、ストリームのスループットを向上させます
シャードの結合
2つのシャードを1つのシャードに結合して、ストリームのスループットを低下させます