Kinesis FirehoseからS3転送時の日付プレフィックスの設定

はじめに

Kinesis FirehoseからS3へのデータ転送時に、明示的に日付の設定を行わない場合、本日日でyyyy/mm/dd/hhの形式なる。
Athenaなどで転送したS3プレフィックス配下に対してSQLを実行する際に、利用しやすい日付パーティションで活用できるよう、Kinesis Firehose側で日付プレフィックスの設定を行う。

設定方法

• S3 バケットプレフィックスへ以下の設定をすることで、本日日のyyyy-MM-dd形式のプレフィックスで転送できる
• また、日付以外にもfirehose1のようなプレフィックスの指定も可能である

firehose1/!{timestamp:yyyy-MM-dd}/

• Kinesis Firehose側の設定
  

• S3へyyyy-MM-dd形式で転送されていることを確認
  

• 以下の設定では、yyyy/MM/dd形式でプレフィックスへ転送できる

firehose1/!{timestamp:yyyy}/!{timestamp:MM}/!{timestamp:dd}

• S3へyyyy/MM/dd形式で転送されていることを確認
  

• エラーログも同様に設定できる