CSV取り込みの高速化

Last updated at 2025-02-20Posted at 2025-02-20

はじめに

クライアントからCSVをFTPでもらい、DBに取り込む機能はシステムでは、良くあるユースケースだと思います。

サービス開始当初は、クライアントの規模も小さく、CSV取り込みの処理時間を気にする必要ないのですが、サービスが大きくなると、処理時間が長くなってテコ入れする必要があるのは、よくあるケースだと思います。

ここでは、CSV取り込みの高速化に対するアプローチを紹介します。

CSV取り込み処理は、設計のアプローチとしては、ETL（Extract/Transform/Load）になると思います。

参考までにETLのライブラリは以下になります。

ただ、どのライブラリを選んでもインフラをどうするか？と言う問題が発生します。
AWSだと、Fargate(ECS/EKS)、EC2のどちらを選んでも定義できるvCPU数（限界）は決まってしまいます。

このため、クラスタ機能をもつETLツールを選ぶ必要です。

このPhaseでは、データベースに変換するロジックを実装なります。このため、どれだけ並列して動かせるかがポイントなります。（=ETLのクラスタ機能が、このphaseで一番大切になります）

私は、Fargateのworker処理で実装したことがあります。SQSのキュー数でオートスケールする形を取りましたが、振り返ってみると、ETLのクラスタ機能を使うのが一番シンプルかと思います。

DBのmasterは通常１つなので、DBのコネクション数の限界はシステムの限界になりますので、注意が必要です。
一方で、AuroraMySQLのServerlessを選ぶと、コネクション数（vCPU）をカジュアルに変更できます。
- Aurora Capacity Unit（ACU）を変更することでvCPUを変更でき、コネクション数も上げられます。
- ServerlessDatabaseCapacityで現在のACU数を計測（監視）できます。

マルチプロセスから大量に更新しようとするとLock wait timeout exceededが発生することがあります。原因は、意図しないテーブルロックが発生するからです。

以下のテーブルがあったとします。

CREATE TABLE users (
    id INT NOT NULL,
    name VARCHAR(255),
    PRIMARY KEY (id)
) ENGINE=InnoDB;

以下のように、インデックスを貼っていないカラムで検索すると、フルスキャンが発生しテーブルロックになります。

BEGIN;
SELECT * FROM users WHERE name = 'Alice' FOR UPDATE;

※ うる覚えなので、間違ってたらごめんなさい m(_ _)m