背景・目的
本日、Amazon Kinesis Data Firehose now supports zero bufferingが発表されましたので、簡単に特徴を整理し、試してみます。
まとめ
- Kinesis Data firehoseではZero bufferingがリリースされました。これにより、0秒〜900秒まで選択ができるようになりました。
概要
今までは、最低60秒間のバッファだったが、更にリアルタイム性を求める場合は、バッファリングしない（ゼロバッファリング）がサポートされるようになったようです。
変換など追加の処理が行われない場合は、ほとんどのワークロードでは5秒以内に配信されるとのことです。
実践
KDFの作成（60秒）
まずは、以前の60秒で試してみます。
- KDFのトップページで「配信ストリームを作成」をクリックします。
- バッファ間隔を60秒に設定します。
デモデータでテスト
-
「デモデータの送信を開始」をクリックします。※2023/12/27 21:37（JST）に開始しました。
-
「デモデータの送信を停止」をクリックし、停止します。
-
S3を確認します。おおよそ一分ごとにファイルが配置されていることがわかります。ファイルサイズは、800K前後です。
-
KDFのメトリクスでもリアルタイム性（データの鮮度）は61秒というのがわかります。
KDFの変更（0秒）
上記のKDFから、バッファリングを60秒から0秒に変更してみます。
-
「編集」ボタンをクリックします。
-
バッファ間隔を「0秒」に変更し、「変更を保存」をクリックします。
デモデータでテスト
-
「デモデータの送信を開始」をクリックします。※2023/12/27 22:10（JST）に開始しました。
-
「デモデータの送信を停止」をクリックし、停止します。
-
S3を確認します。おおよそ6秒ごとにファイルが配置されていることがわかります。ファイルサイズは、70Byte 前後です。
-
KDFのメトリクスでもリアルタイム性（データの鮮度）は、5秒というのがわかります。
考察
今回、Kinesis DataFirehoseのZero burfferingを試してみました。
S3へのフィードでは、5秒程度で送信されていることが確認できました。
S3にフィードした場合では、このあとに、ETL（※1）やAthenaなどで利用する際にはファイルが細かくなりすぎてI/Oが多く発生し効率性の観点ではマイナス面もあると思われますが、HTTPエンドポイントなどワークロードによっては有効かもしれません。
※1 ただし、Glueではデータをまとめて読み込むgroupFiles/groupSizeのパラメータがあるので、まとめて読むことも可能です。
参考