【AWS】S3からDynamoDBへのインポートができるようになりました！(& ちょっと検証)

きっかけ

ネットサーフィンしていたら、AWS公式からDynamoDBでS3からのインポートをサポートしました！というブログポストが出ていたので、以前はちょっとしたLambdaとか書いてたなぁと思いつつ、便利っぽいので動作確認しようと思いました。

（流石のクラメソさん、以下でとてもわかりやすくまとめてくれております！）

前提

 移行前テーブル: before_migrate_table

• 項目: ttl項目についてTTL設定なし, alt_nameはLSI設定時に使用想定
  • id: Number, PK
  • name: String, SK
  • alt_name: String
  • ttl: String
    
    
    
    

 移行後テーブル想定: after_migrate_table_(json or csv)

• 項目:
  • id: Number, PK
  • name: String, SK
  • alt_name: String
  • ttl: String

検証① DynamoDBのエクスポート後ファイルからのインポート

• DynamoDBからのエクスポートジョブを設定し、エクスポートを実施
  

• エクスポート結果として各レコードごとに.gz形式でエクスポートされることを確認
  

• (解凍後のファイル内容例)
  

• S3からのインポートジョブを作成

  • S3のプレフィックスで階層で指定することも可能（ファイル単位でなくても大丈夫そう）
    

• テーブルは新規作成する必要あり。(既存テーブルに追加することはできなさそう)
  

• LSIを作成することは出来ない
  

• ジョブを作成、完了したことを確認

  • テーブル作成+3レコードインポートで3分程度かかっていた
    

• 正常にインポートできていることを確認
  
  

検証② CSVエクスポート後ファイルからのインポート

• DynamoDBから項目をCSVにてダウンロード
  
  -　(ダウンロードファイル内容)
  

• S3からのインポートジョブを作成

  • jsonの時と異なり、ヘッダとデリメータの設定項目が表示される
    

• ジョブを作成、完了したことを確認

  • テーブル作成+3レコードインポートで3分程度かかっていた(jsonと大差なし)
    

• 正常にインポートできていることを確認
  
  

検証③ インポート後のTTL設定追加

• after_migrate_table_jsonでttl項目についてTTL設定を有効化する
  
• 有効化されたことを確認
  
  

検証④ インポート時間の検証

• CSVデータを１万行に拡張し、インポートジョブを作成
  
• 実行結果を確認
  • テーブル作成と10000件インポートで約3分半
  • 前述の結果からDynamoDBの初期設定で約３分、 データ量に対しては十分な速度が出そう
    

まとめ

• CSV, JSONで取り込めた
• S3配下のフォルダ内ファイル全部を対象にできた
• LSIは設定できなかった
• TTLは通常と同じく、設定できた
• インポート時間はDynamoDBの初期設定で3分くらい、データ量に対しては十分な速度が出ていた