DMSのフルロードを高速化する

DMSを使ったAurora MysqlからApache Kafka(MSK)への移行タスクの速度が遅く、対策した結果の備忘録です

Kafkaへの移行タスクはデータ転送が遅く時間がかかる

DB、Kafkaともリソースに余裕があっても 19.4 レコード/秒くらいの速度感です

Aurora Mysqlソースはparallel-loadオプションが利用できないため、移行タスク作成時に指定できるテーブルマッピングのソースフィルタで対象レコードを分割し、移行タスク自体を並列起動します

4タスク起動してみました

タスク単体での速度は変わりませんが、並列で動作しているので全体での処理件数は増加しています

弊社で一緒に働く仲間を募集しています。
全てのオタクを幸せにしたい方、是非ご覧ください！