Amazon S3上の画像ファイルをGoogle cloud storageに移行する

Googleが公式にgsutilというツールを公開しており、コマンドをいくつか叩くだけでデータの以降が行えます。

gsutilのセットアップ

1. python 2.6.xまたは2.7.xのインストール
2. 公式ページからgsutil.tar.gzをダウンロードし、ホームディレクトリにgsutilとして解凍
3. $HOME/gsutil にパスを通しておく
4. gsutilで使うプロジェクトIDの設定

 gsutil config

をタイプし、画面の指示に従い表示されているURLをブラウザで表示、コンソールに認証コードとプロジェクトIDを入力する

Amazon S3にアクセスするための認証情報を設定

ホームディレクトリ以下の.botoファイルを開き、以下の二行を編集してコメントアウト

aws_access_key_id = your_access_key
aws_secret_access_key = your_secret_access_key

移行先bucketの作成

 gsutil mb gs://your_backet_name # mbはmove bucketの意味

 # ACL (Access Control List)をpublic-readに設定
 gsutil acl set public-read gs://your_backet_name

データのコピー

gsutil -m cp -R -a public-read "s3://from_bucket_name/*" gs://to_bucket_name # -mオプションを指定するとマルチスレッドでコピーする