この記事で言いたいこと
大量データのループ処理を扱う際にはfind_eachがメモリ節約に有効である。
きっかけ
先日、Ruby on Railsで大量データを扱う機会がありました。
その際find_eachというメソッドがあることを学んだので、eachとの違いを明らかにしながらまとめていこうと思います。
eachを用いた例
Studentというモデルがあると仮定します。
studentsテーブルにある生徒の名前（nameカラム）を全員分出力したい場合、皆さんはどのようなコードを書きますか？
Student.all.each do |student|
puts student.name
end
上記のようにStudent.allでレコードを全件取得してからeachメソッドを使用することで、studentsテーブルにいるすべての生徒の名前を出力することができます。
レコード数が少ない場合は上記の例のように書くのがよいでしょう。
しかしレコードが大量にある場合は、上記のようにレコードを一気に取得する方法だとメモリを圧迫してしまいます。
ここで満を持してfind_eachの登場です。
find_eachを使ってみる
find_eachのメリットは「分割してレコードを取得できる」ことです。
以下に例を示します。
Student.find_each(batch_size: 500) do |student|
puts student.name
end
引数のbatch_sizeは1回あたりに取得するレコード数を示しています（デフォルトでは1000件）。
はじめにレコードを500件取得してループ、また次の500件を取得してループ...といった様子です。
出力結果は前述のeachを用いた例と全く同じです。
さらに理解を深めるため、両者で発行されるSQLを比較してみます。
SQLの比較
findの場合
SELECT * FROM students
Student.allを使用しているため、一気に全レコードを取得しています。
find_eachの場合
-- 1回目
SELECT * FROM students ORDER BY student_id ASC LIMIT 500
-- 2回目（ループ処理後）
SELECT * FROM students WHERE student_id > 500 ORDER BY student_id ASC LIMIT 500
-- 3回目（ループ処理後）
SELECT * FROM students WHERE student_id > 1000 ORDER BY student_id ASC LIMIT 500
-- 以後同様に続く...
(student_idはstudentsの主キーです )
- 主キーでソートする
- 取得できるレコードの取得数の上限を
batch_size個にする - 2回目以降は
(主キー)>(前回取得したレコードのうち最大の主キー)の条件を付与する
上記の仕組みによってレコードが分割して取得できていることがわかりました。
まとめ・感想
冒頭でも述べたように、大量データを扱う際にはメモリに気を遣う必要がありfind_eachは有効な手段です。
今回紹介した以外にもfind_eachは取得したいレコードの始点・終点の主キーを指定できたり、降順に並べたりすることもできます。また、似たようなメソッドにfind_in_batchesというものもあります。
気になる方は是非調べてみてください！
参考
Railsドキュメント(find_each)
Railsドキュメント(find_in_batches)
Railsガイド