AWS CLIを使ってS3に大量のファイルを自動でアップロードする

目次

事前準備
ファイルをS3にアップロードする

事前準備

・以下のURLを叩いてインストーラーをダウンロードし、AWS CLIをインストールする
https://awscli.amazonaws.com/AWSCLIV2.pkg

・インストールが終わったらターミナルで$ which awsを流してコマンドがつかえるか確認する

・$ aws configureを流してアクセスキー、シークレットアクセスキー、リージョン名を入力する

$ aws configure
AWS Access Key ID [None]: xxxxxxxx
AWS Secret Access Key [None]: xxxxxxxxxxxxxxxx
Default region name [None]: ap-northeast-1
Default output format [None]: 

アクセスキーは AWS -> IAM -> ユーザー で確認が可能。シークレットキーは作成時に表示またはダウンロードできるのみなので忘れずに保管しておくこと！

ファイルをS3にアップロードする

以下のコマンドをターミナルから流すだけ。

aws s3 sync . s3://hoge_backet/s3/hoge/ --exclude "*.xlsx" --exclude "*.txt"

コマンド解説
aws s3 sync：ファイルをアップロードするためのコマンド。
.：現在のディレクトリ。
s3://hoge_backet/s3/hoge/：アップロードするs3のバケットのフォルダを指定する。
--exclude "*.xlsx" --exclude "*.txt"：現在のディレクトリのファイルのうち、拡張子がxlsx,txtは除いてアップせよ、というオプション。

以上をまとめると上記のコマンドは「現在のディレクトリに存在する拡張子xlsx,txtを除いた全てのファイルをアップロードする」という意味になる。

aws s3 cp コマンドでもアップロードは可能だが、s3バケットの中身がアップ元と同じになってしまうので注意