データレプリケーションに MirrorMaker 2.0 を使うべき 5 つの理由

Apache Kafka®でデータをレプリケートする？いい考えですね！MirrorMaker 2.0を使うべき5つの理由をお読みください。

MirrorMaker 2.0 は、Apache Kafka® 用の堅牢なデータレプリケーションユーティリティです。このユーティリティは、複数のKafkaクラスタのコンシューマおよびプロデューサとして機能するため、ユーザはクラスタ間で簡単かつ確実にデータをコピーすることができる。これにより、Kafka中心のアーキテクチャの耐障害性が向上します。

Apache Kafkaクラスタのデータを複製する理由

Apache Kafkaは一時的にデータを保存するだけで、その意味では本当のデータベースではない。では、なぜその一時的なデータのレプリケーションを気にする必要があるのでしょうか？

なぜなら、Apache Kafkaクラスタ間のデータレプリケーションは、コアデータインフラに柔軟性、パフォーマンス、信頼性を追加することができるからです。特に膨大なデータ量を持つ大企業は、この恩恵を受けることができます。

1.ディザスタリカバリ

Apache Kafkaクラスタ間でデータをレプリケートしたい場合、最も理解され、最も重要なシナリオはディザスタリカバリです。多くの企業がデータインフラの要としてApache Kafkaに依存している。Apache Kafkaは成熟しており、信頼性が高く、信頼できるプロバイダーによって提供されていますが、それでも災害は起こりうるものであり、データが一時的に利用できなくなったり、完全に失われたりすることがあります。

リスクを軽減する最善の方法は、データのコピーを別のデータセンターの別のKafkaクラスタに置くことです。そうすることで、比較的シームレスにクライアントを切り替えることができ、サービスの中断を最小限に抑えながら、その場で代替のデプロイメントに移行することができる。

MirrorMaker2は、コンシューマのオフセットマッピングを保持し、クラスタ間でコンシューマをほぼ透過的に移行するためのツールを提供します。これは、ディザスタリカバリを成功させる鍵となります。

2.クラウドへの移行

Apache Kafkaクラスタをオンプレミスからクラウドに移行する企業が増えている。あるクラウド地域やプロバイダーから別のクラウドへ移行する段階にある企業もある。

データサービスのクラウド移行をサポートするツールは、データをよりコントロールしやすくします。Kafkaクラスター間のデータ複製は、ダウンタイムの少ないKafkaクラウド移行に最適な選択です。

3.より身近に

多くのグローバル・ビジネスでは、地理的に分散した場所でデータを作成・利用することが珍しくありません。レプリケーションを利用することで、ユーザがいる場所にデータを持ち込むことができます。これにより、レイテンシとネットワークコストを削減し、最適なスループットを提供します。

4.データの分離

データセットによっては、法的、コンプライアンス、パフォーマンス上の理由から、別の Kafka クラスターに隔離する必要があります。

たとえば、法的な配慮が必要な場合、あるクラスタに書き込んでいるトピックの保持期間を制限し、読み取りがコンプライアンス上問題ないリージョンで保持期間を長くして別のクラスタにミラーリングすることができます。

パフォーマンスを向上させるには、1つのクラスターで受信データを一時的に保存し、それを集約して、集約されたデータのみを別のクラスターにミラーリングする。こうすることで、受信パイプラインをクリーンに保ちつつ、重要なビットを保持することができ、おまけにストレージスペースの節約にもなる。

5.データ分析

アグリゲーションはデータパイプラインの要素でもあり、分散したKafkaクラスタのデータを1つに統合する必要があるかもしれない。集約されたクラスターは、そのデータを他のクラスターやデータシステムにブロードキャストし、分析や視覚化を行う。

Apache Kafka MirrorMaker は人生をより簡単にする

Kafka Connect を使用して Apache Kafka クラスタをレプリケートする場合、MirrorMaker2 はソースクラスタとターゲットクラスタのトピック構成 (パーティショニングを含む) と ACL を同期します。これを実現するための外部ツールはもう必要ありません。

レコードがセマンティックにパーティショニングされている状況では、レプリケーション中にパーティショニングが保持されることは良いことだ。

アクティブ・アクティブ・レプリケーションやチェーン・レプリケーションのような複雑なレプリケーション・トポロジーを設定するのは簡単だ。1つのMM2クラスタで複数のレプリケーションフローを実行でき、レプリケーションサイクルを防止するメカニズムも備えている。

まとめ

Apache Kafka MirrorMaker2を使えば、様々な用途に使える堅牢なレプリケーションアーキテクチャが構築できる。Aiven for Apache Kafkaのアドオンとして入手でき、Aivenに作業を任せることができます。

まだAivenのサービスをお使いではありませんか？https://console.aiven.io/signupから無料トライアルにお申し込みください！

また、changelogとblogのRSSフィード、またはLinkedInとTwitterのアカウントをフォローし、製品や機能関連の最新情報をご確認ください。