EC2に700万件insertする #Rails

したい事

EC2のmysql（RDS）にレコードを700万件入れたい
できるだけ短時間で入れたい
1回で入れたい

環境

docker-compose
rails（6.1)
localマシン: mbp 16GB
EC2プラン: t3.small（メモリ2GB）、DBはRDS

local 下準備

docker-compose.yml内容変更↓

version: '3'
services:
  db:
    image: mysql:5.7.34
    command: --max_allowed_packet=536870912
    environment:
      MYSQL_ROOT_PASSWORD: ${MYSQL_ROOT_PASSWORD}
    ports:
      - "4306:3306"
  web:
    build: .
    command: bash -c "rm -f tmp/pids/server.pid && bundle exec rails s -p 3000 -b '0.0.0.0'"
    environment:
      TZ: Asia/Tokyo
    volumes:
      - .:/test
    ports:
      - "3000:3000"
    depends_on:
      - db

ポイント: 上から5行目でmysqlのpacketを512MBに増やしている

dockerのsettingを変更↓

ポイント: resourceのmemoryを8GBに増やしている

localで実行

まずlocalで数百万のinsertをできるかを確認
seeds.rb内容変更↓
(例はcsvのデータをinsertする場合)

# frozen_string_literal: true

require "csv"

def insert_all_test
  array = []
  CSV.foreach("db/test1.csv", headers: true) do |row|
    array << {
        name: row["name"],
        created_at: Time.current,
        updated_at: Time.current
    }
  end
  User.insert_all array

  array = []
  CSV.foreach("db/test2.csv", headers: true) do |row|
    array << {
        name: row["name"],
        created_at: Time.current,
        updated_at: Time.current
    }
  end
  User.insert_all array
end

insert_all_test

ポイント: エラーにならない程度の量のデータを１つのループで配列に入れ、一度insert_allでDBに入れる
それを繰り返し
そのdefを、最終行のinsert_all_testで実行($ rails db:seed)する
これで1回でinsertできる。localでは700万件insertが約１５分で完了
（insert_allメソッドはcreated_atとupdate_atを自動で入れないので上記のように明記する必要)

EC2 下準備

mysqlの環境を変更する

DBがRDSの場合

パラメータグループでmax_allowed_packetを変更する(今回は512MBとした)
デフォルトのパラメータグループの内容は変更できないので、新規で作成する必要がある
ポイント: 新規でパラメータグループを作成した後は、そのグループをEC2インスタンスに適用する

EC2で実行

$ rails db:seed RAILS_ENV=production

プラン: t3.smallの場合

1つのcsvは約50万件
700万件のinsertに約50分掛かった

プラン: t2.microの場合

1つのcsvは約30万件（50万件ではエラー。broken pipeする）

プランがmicroでも、時間を掛ければ1回でできる