はじめに

本記事では、postgres-copyの使い方とRails6から追加されたinsert_allのパフォーマンスの比較を行います。

環境

Ruby 2.6.6
Rails 6.0.3
Docker for Mac

前提

下記のテーブルを作成済みとします。

postsテーブル

name	type	description
id	bigint	主キー
title	string	投稿タイトル
body	text	本文
created_at	datetime	作成日時
updated_at	datetime	更新日時

postgres-copyの導入

まずはGemfileにpostgres-copyを追加します。

gem 'postgres-copy'

その後bundle install(Dockerを使っています)

$ docker-compose run web bundle

次に、Postモデルにacts_as_copy_targetを追記します。

class Post < ApplicationRecord
  acts_as_copy_target # 追加
end

これで、以下4つのメソッドがPostモデルに追加されます。

copy_to
copy_to_string
copy_to_enumerator
copy_from

今回使うのはcopy_fromのみになります。

パフォーマンス比較

結論から申し上げると、copy_fromの方が早かったです。

10万行のCSVをinsertしてパフォーマンスを比較してみます。

insert_all

$ require 'csv'

$ now = Time.zone.now

$ rows = CSV.read('/app/tmp/test.csv', headers: true).map do |row|
  {
    id: row[0],
    title: row[1],
    body: row[2],
    created_at: now,
    updated_at: now
  }
  end

$ Benchmark.realtime do
    Post.insert_all(rows)
  end
=> 8.32

約8秒でインサートできました。

copy_from

$ Benchmark.realtime do
    Post.copy_from('/app/tmp/posts.csv')
  end
=> 4.33

こちらは約4秒ですね。

結果

メソッド	実行時間(秒)
insert_all	8.32
copy_from	4.33

ということで、copy_fromの方がおよそ2倍早いという結果になりました。

考慮すべきポイント

created_at, updated_atが自動で挿入されない

これはinsert_allもcopy_fromも同じなのですが、ActiveRecordで普通にcreateする際に挿入されるcreated_atとupdated_atが自動で挿入されないので、insert_allであれば、ハッシュの値に入れる必要があります。
copy_fromでは、created_atとupdated_atの列と値を用意する必要があります。

不正データのバリデーション

重複データ

insert_allは重複データがあった場合に無視します。なので、実務ではinsert_all!の方を使うことになるかと思います。(insert_all!の場合、レコードの重複があったら、ActiveRecord::RecordNotUniqueの例外がraiseされます)

copy_fromも同様に、重複データがあっても例外は上がりません。

値が不正なデータ

insert_allもcopy_fromも、Railsのモデルにvalidationを設定していてもバリデーションがスキップされます。

そのため、取り込むデータを作成する段階で、正しい値のみを入れておく必要があります。

子レコードの同時インサート

activerecord-importだとrecursiveオプションがある

insert_allもcopy_fromも、子レコードの同時インサートには対応していません。なので、同時インサートが必要なテーブル構成の場合は、activerecord-importを使わざるを得ないのかなと思っています。。。

MySQLにはrecursiveオプションはありませんのでご注意ください。

まとめ

実用的には大量seedデータ投入の高速化に用いるくらいかなとは思いました。

そのseedデータ作成もカラム追加するごとにメンテが必要になるので、運用面も考えると少々面倒かなとか思ったり、、、

ともあれ、insertそのものが早いのは事実なので、活躍の場を与えてあげたいものです。

icare開発者ブログもよろしくね！