Help us understand the problem. What is going on with this article?

LOAD DATA FROM S3でファイル分割時の性能検証

More than 1 year has passed since last update.

auroraに大量データを登録しようとしましたが、bulk insertだと思ったように性能が出なかったので、LOAD DATA FROM S3 を試してみました

セットアップはいつもお世話になっている Developers.io さんの記事にお世話になりました
引っかかったのは、クラスターパラメーターグループにroleのARNを設定後、DBインスタンスの再起動をしないと反映されないところぐらいでした

対象のデータは、100万件で900Mほどのcsvファイルです

インスタンスタイプ 1ファイル 4ファイル 8ファイル 16ファイル
t2.small 5分04秒 4分30秒 4分30秒 4分30秒
r5.large 3分7秒 3分1秒 2分57秒 3分6秒

ファイル分割による、明確なレスポンスアップは確認できませんでした

今回の取り込みは、CSVファイルのごく一部に留まりましたので、それを無くしたらカラムマッピングのコストが無くなり、より良いレスポンスが得られるかも知れません
また検証して情報共有したいと考えています

atakig
beex-inc
BeeXではクラウドネイティブアプリ開発、企業の基幹クラウド基盤構築、システム移行、運用保守を行っています。
https://www.beex-inc.com/
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away