More than 5 years have passed since last update.

S3のcsvをRDSに取り込む(DataPipelineで)

Last updated at 2016-02-16Posted at 2016-02-16

AWSのData pipelineで簡単にS3のcsvをRDSに取り込めたのでめも。

##設定
AWSのDataPipelineダッシュボードから、create new pipeline押して以下の設定

name: 適当に名前
description: 適当
source: load S3 data into RDS MySQL を選ぶ
RDS MySQL pass: mysql pass
input s3 file path: 取り込みたいcsvファイル
insert sql query: インサートクエリ
- INSERT INTO log_test (col1, col2, col3, col4) VALUES (?, ?, ?, ?);
- valuesの後は"?"にしないと動かなかった。placeholderかな。
RDS MySQL connection string: 接続先mysqlホスト情報
- 例: jdbc:mysql://hoge.fuga.ap-northeast-1.rds.amazonaws.com:3306/table_name
scheduleは好きなように
logging: enabledを強くおすすめ。ログ吐きたいs3ディレクトリ指定

10分くらい気長に待つとtableにcsvデータ入ってます。