AWS LamdaとS3のクロスリージョンレプリケーションで安心感を得る方法 #AWS

AWSつかってますかー？ @srockstyleです。

今日はAWSのS3のお話です。

ファイルがあがったら自動で別バケットにバックアップ

一つのバケットだけに依存していると不安になるときありませんか？
S3は99.9999999くらい落ちないとはいえ、それでも0.0000000001くらいの確率で落ちるわけで、あとS3に問題なくても手でファイルやバケット本体を消しちゃったとかありますよね。

そんなときに備えて手を打っときましょう。

AWS Lamdaでオブジェクト作成時に別バケットにコピー

手っ取り早いのはAWS LamdaでS3の通知をうけて別バケットにコピーしちゃいましょう。Lamdaスクリプトはイベントドリブンで好きな通知に合わせてファイルを別バケットに送信してくれます。


// S3 Sync Script
console.log('Loading event');
var aws = require('aws-sdk');
var s3 = new aws.S3({apiVersion: '2006-03-01'});

// lamda start
exports.handler = function(event, context) {
  console.log('Received event:');
  console.log(JSON.stringify(event, null, '  '));

  // Basic
  var source_bucket = event.Records[0].s3.bucket.name;
  var target_bucket = [ターゲットのバケット名];
  var key = event.Records[0].s3.object.key;

  // Sync Start
  s3.copyObject(
    {
      Bucket:target_bucket,
      Key:key,
      CopySource: source_bucket + "/" +  key,
    },
    function(err,data) {
      if (err) {
        console.log('error sync object ' + key + ' from bucket ' + bucket + '.');
        context.done('error','error sync file'+err);
      }
      else {
        console.log('CONTENT TYPE:',data.ContentType);
        context.done(null,'');
      }
    }
  );
};

これで対象のbucketにコピーされるはずです。Lamdaスクリプトを設定するときはS3:ObjectCreatedを指定してください。他の通知は以下のドキュメントに書いてありました！

Amazon S3 イベント通知の設定

でもこれとは別にS3だけで同じことができる機能があります。
それがS3のクロスリージョンレプリケーションです。

S3のクロスリージョンレプリケーションで別リージョンのバケットにファイルをコピー

クロスリージョンレプリケーションは、メインとなるリージョンとは違うリージョンに作られたS3バケットに対してファイルをコピーする機能です。イメージとしてはRDBのマスター・スレーブのレプリケーションとほぼ同じです。
とあるバケット上で行った操作、作成・編集・削除などを別バケットにも瞬時に反映するっていうやつです。

やってみた感じだとリアルタイムとまではいかなくてもかなり素早く別バケットにファイルをコピーしてくれます。

それでは設定しましょ。こっちはコードを書くことなくほとんどAWSマネジメントコンソール上でできちゃいます。

設定方法（マスター・スレーブ共通）

まずS3の画面を開いてバケットを選択したら「プロパティ」からメニューを出します。クロスリージョンレプリケーションというメニューがあるので、クリックします。

すると「バージョニングを有効にしないとレプリケーションできないよう」と注意書きが流れます。マスターのバケット、スレーブのバケット共にこのバージョニングを有効化しておいてください。バージョニングの説明は後述しますね。

設定方法（マスター）

クロスリージョンレプリケーションは一方的に送るだけなので、MySQLとかと違って片方だけ設定すれば大丈夫です。なのでマスター側の設定がおわれば基本的にクロスリージョンレプリケーションは完了します。

クロスリージョンレプリケーションを有効化にチェックをいれましょう。

ただ、バージョニングをしている場合に注意点ですが、古いものを削除していかないとコストがかかっていくので、ライフサイクルの設定をきちんと行いましょう。ライフサイクルは下のバージョニングの項目で説明します。

そしたらレプリケーション先のリージョンとバケットを指定して、ロールを作成します。ロール作成画面がもどると保存できるようになるので、保存ボタンを押して完了です。