DMSのフルロードを高速化する
DMSを使ったAurora MysqlからApache Kafka(MSK)への移行タスクの速度が遅く、対策した結果の備忘録です
Kafkaへの移行タスクはデータ転送が遅く時間がかかる
DB、Kafkaともリソースに余裕があっても 19.4 レコード/秒 くらいの速度感です
移行タスクを並列起動して対応
Aurora Mysqlソースはparallel-loadオプションが利用できないため、移行タスク作成時に指定できるテーブルマッピングのソースフィルタで対象レコードを分割し、移行タスク自体を並列起動します
4タスク起動してみました
タスク単体での速度は変わりませんが、並列で動作しているので全体での処理件数は増加しています
デメリット
- DMS以外がボトルネックの場合は速度が変わりません
- 当然ですが、処理順序はバラバラになります
- 並列接続しているのでソースDBの負荷は増えます
採用PR
弊社で一緒に働く仲間を募集しています。
全てのオタクを幸せにしたい方、是非ご覧ください！