Edited at

Amazon S3上の画像ファイルをGoogle cloud storageに移行する

More than 3 years have passed since last update.

Googleが公式にgsutilというツールを公開しており、コマンドをいくつか叩くだけでデータの以降が行えます。


gsutilのセットアップ


  1. python 2.6.xまたは2.7.xのインストール


  2. 公式ページからgsutil.tar.gzをダウンロードし、ホームディレクトリにgsutilとして解凍


  3. $HOME/gsutil にパスを通しておく

  4. gsutilで使うプロジェクトIDの設定


gsutil config

をタイプし、画面の指示に従い表示されているURLをブラウザで表示、コンソールに認証コードとプロジェクトIDを入力する


Amazon S3にアクセスするための認証情報を設定

ホームディレクトリ以下の.botoファイルを開き、以下の二行を編集してコメントアウト

aws_access_key_id = your_access_key

aws_secret_access_key = your_secret_access_key


移行先bucketの作成


gsutil mb gs://your_backet_name # mbはmove bucketの意味

# ACL (Access Control List)をpublic-readに設定
gsutil acl set public-read gs://your_backet_name


データのコピー


gsutil -m cp -R -a public-read "s3://from_bucket_name/*" gs://to_bucket_name # -mオプションを指定するとマルチスレッドでコピーする