LoginSignup
2
1

More than 1 year has passed since last update.

@wakuwaku7(藤田 泰三)in株式会社viviON

DMSを使ったAurora MysqlからApache Kafka(MSK)へのフルロードを高速化する

Last updated at Posted at 2021-12-13

DMSのフルロードを高速化する

DMSを使ったAurora MysqlからApache Kafka(MSK)への移行タスクの速度が遅く、対策した結果の備忘録です

Kafkaへの移行タスクはデータ転送が遅く時間がかかる

DB、Kafkaともリソースに余裕があっても 19.4 レコード/秒 くらいの速度感です
image.png

移行タスクを並列起動して対応

Aurora Mysqlソースはparallel-loadオプションが利用できないため、移行タスク作成時に指定できるテーブルマッピングのソースフィルタで対象レコードを分割し、移行タスク自体を並列起動します
image.png

4タスク起動してみました
image.png

タスク単体での速度は変わりませんが、並列で動作しているので全体での処理件数は増加しています
image.png

デメリット

  • DMS以外がボトルネックの場合は速度が変わりません
  • 当然ですが、処理順序はバラバラになります
  • 並列接続しているのでソースDBの負荷は増えます

採用PR

弊社で一緒に働く仲間を募集しています。
全てのオタクを幸せにしたい方、是非ご覧ください！

2
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
2
1