S3のcsvをRDSに取り込む(DataPipelineで)

AWSのData pipelineで簡単にS3のcsvをRDSに取り込めたのでめも。

設定

AWSのDataPipelineダッシュボードから、create new pipeline押して以下の設定

• name: 適当に名前
• description: 適当
• source: load S3 data into RDS MySQL を選ぶ
• RDS MySQL pass: mysql pass
• input s3 file path: 取り込みたいcsvファイル
• insert sql query: インサートクエリ
  • INSERT INTO log_test (col1, col2, col3, col4) VALUES (?, ?, ?, ?);
  • valuesの後は"?"にしないと動かなかった。placeholderかな。
• RDS MySQL connection string: 接続先mysqlホスト情報
  • 例: jdbc:mysql://hoge.fuga.ap-northeast-1.rds.amazonaws.com:3306/table_name
• scheduleは好きなように
• logging: enabledを強くおすすめ。ログ吐きたいs3ディレクトリ指定

10分くらい気長に待つとtableにcsvデータ入ってます。