s3からディレクトリごと再帰的にダウンロードしたい

ディレクトリごと再帰的にダウンロードボタンは2021年2月現在
まだコンソールにはないようです。

前提

AWS CLIを使用します。
CLIとはコンソールでやっている操作をコマンドで操作することです。
今回のようにコンソールでできないこともできたり
連番フォルダを1万個作るなどのように
コンソールでぽちぽち操作では時間がかかることを一瞬でできたりします。

公式サイト

学習コストもかかりますが受けられるメリットはそれより大きいと思います。

aws cliを使ってディレクトリを再帰的にダウンロード

recursive.shell

$ aws s3 cp s3://test_bucket/test/ ./folder --recursive
（念のためrecursiveは再帰的という意味）
aws s3 cp バケットのパス ダウンロード後のローカルのパス オプション

#最新バージョンのみのオブジェクトを対象として、S3 バケットの合計サイズを確認する
ディレクトリを再帰的にダウンロードした後に確認する時に使えます。

onlyLatestTotalS3.shell

$ aws s3 ls s3://examplebucket/ --summarize --recursive --human-readable

バージョニングされたバケットのバージョンも含めた合計サイズ取得

s3はgitのようにバージョン管理も行ってくれます。
その過去のバージョンも含めたデータ合計サイズを知りたい時のコマンドです。

S3ls.shell

$ aws s3api list-object-versions --bucket examplebucket --query "[sum(Versions[].Size)]"

バケットからファイル名を指定して１つダウンロード

s3cp.shell

$ aws s3 cp s3://examplebucket/filename ./currentdirectory

バケットから最新の100件を表示

s3ls.shell

$ aws s3 ls s3://examplebucket --recursive | sort -r -n -k 3 | head -n 100