shellscript でログデータを加工した時のメモ

AWS S3 に保存している tar.gz 形式で保存している json のログデータを加工する必要があった時以下のような shellscript で対応したというメモ

COPY_FROM=/path/to/copy_from
COPY_TO=/path/to/copy_to

cd COPY_FROM=/path/to/copy_from
aws s3 sync s3://target_bucket/target_data/ .


for nested_dir in $(ls -1 $COPY_FROM );; do
    if [ ! -d $COPY_TO/$nested_dir ]; then
        mkdir -p $COPY_TO/$nested_dir
    fi

    for target_file in $(ls -1 $COPY_TO/$nested_dir ); do
        zcat $COPY_TO/$nested_dir/$target_file | \
            jq -c 'del(.target_delete_key)' | \
            gzip -c > \
        $COPY_TO/$nested_dir/$target_file
    done
done