Beyond event streaming: a complete open source ecosystem for Apache Kafka®の翻訳です。
2022年12月7日
イベントストリーミングを超えて：Apache Kafka®のための完全なオープンソースエコシステム
Apache Kafkaをデータ基盤のバックボーンとする場合、エンドツーエンドのソリューションをご利用ください。Apache Kafka®を中心としたAivenのオープンソースエコシステムの詳細をご覧ください。
Apache Kafka®インフラストラクチャの全体的な管理
最近のKafkawiseの買収とKlawへの改名、および2022年初めのAiven for Apache Flinkの立ち上げにより、私たちはApache Kafka®周辺のテクノロジーとツールの完全なエコシステムを紹介できることを誇りに思っています。
我々のビジョンは、あらゆる組織のデータストリーミングニーズとワークロードに適合できる、Apache Kafkaと深く統合されたサービスとツールの真にエンドツーエンドのオープンソースベースのエコシステムを提供することです。
Apache Kafkaによる組織の成長と発展
私たちは常に、ストリーミング・データの旅の最初の一歩を踏み出す企業を目にします。この旅は、開発、実験、実装の継続的なプロセスです。企業はさまざまな段階を経て、それぞれに関連する特徴やニーズがあります。
最初のステップ
企業がApache Kafkaを導入する際、最初は基本的な必需品に焦点を当てます - 赤ちゃんが体を発達させるために良質な栄養と睡眠を必要とするのと同じです。Apache Kafkaインフラストラクチャを開発する企業にとって、これらの必需品はテクノロジーに慣れ親しみ、特定のニーズやユースケースへの適用を理解することです。企業はまた、基本的なコンセプトを研究し、Apache Kafkaクラスタをスピンアップして物事を進める。
Apache Kafkaを使い始める企業は、クラスターをスピンアップする方法（と場所）を理解し、ストリーミング・トポロジーを検討し、既存のデータ量に基づく特定のユースケースに対するレイテンシー要件などを調査することも望むだろう。
成長するニーズ
Apache Kafka が組織内で成長すると、その容量も大きくなり、より大量のトラフィックやユースケースを処理できるようになります。Apache Kafkaは、環境とデータベース間のデータ転送のために使い始めるかもしれないが、Kafkaの普及が進むにつれて、エッジデバイス、メッセージキュー、ブロブやクラウドストレージとのやり取りや、データの正確性と可用性を確保するためのリアルタイム処理が必要になるかもしれない。組織がApache Kafkaを使用すればするほど、より多くの要件が必要になります。
組織がApache Kafkaを使えば使うほど、要件は増える。
巣立ち
子どもがある年齢に達すると、家庭の外に出て、保育園や学校など、より広いチームの一員となる。社会でどのように関わり、行動するかを学び始めるのだ。
企業にとって、これはApache Kafka採用の第3段階であり、ツールやソフトウェアに対する新たなニーズをもたらす。Apache Kafkaは、組織内でのデータ転送のバックボーンとなる。より多くのユースケースが出現するにつれて、より多くのスキーマが作成され、既存のスキーマは時間の経過とともに進化する。新しいトピックとパーティションが作成され、複数のチームがアクセスしたいさまざまなタイプのイベントが強調される。同時に、リアルタイムのデータパイプラインやイベント駆動型アプリケーションなど、新しいユースケースも有効になる。
企業は、スキーマやトポロジーの変更や更新によってApache Kafkaアプリケーションが影響を受けないように、Apache Kafka環境でトピックやスキーマがどのように変更され、進化するかを適切に管理し、追跡する必要がある。
最後に、Kafkaの利用がさらに拡大するにつれて、Apache Kafkaが適用される特定の標準やルールに適合していることを保証するためのガバナンス構造とメカニズムを確立する必要がある。これにより、このテクノロジーは安全でコンプライアンスに準拠した方法でミッションクリティカルなアプリケーションをサポートし始めることができる。
Apache Kafkaのための完全なオープンソース・ストリーミング・エコシステムを提供することで、私たちはApache Kafkaの旅の各段階で組織をサポートしたいと考えています。私たちは、全行程を共に歩み、信頼できるパートナーになりたいと考えています。シームレスなクラスタのセットアップから、Apache Kafkaサービスのテストや実行、Apache Kafkaを中心としたエンドツーエンドのプラットフォーム・サービス・チームの構築まで、Aivenのエコシステムはそこにあります。
お客様の成長をサポートするストリーミング・エコシステム
オープンソースのエコシステムにあるツールやサービスを詳しく見ていきましょう。
Aiven for Apache Kafka
Aiven for Apache Kafkaは、組織内のデータストリームの輸送を可能にする中核的なイベントストリーミングフレームワークです。
通常、データ・ストリーミングを始める顧客は、Apache Kafka自体に焦点を当てたいと考えるだろう。つまり、Apache Kafkaを立ち上げて稼働させ、それを軌道に乗せるのに十分な知識とトレーニングを確保することだ。
Aiven for Apache Kafkaを使用すれば、リアルタイムデータの管理、運用、転送を一箇所でシームレスに行うことができます。また、他のAivenサービスとの統合や、他のクラウド地域や外部システムからのクラスタの移行も可能です。
Aiven for Apache Kafka® (英語)
Apache Kafkaをフルマネージドサービスとして提供し、ベンダーロックインがなく、ストリーミングパイプラインを構築するためのフルセット機能を備えています。
Aiven for Apache Kafkaコネクト
Aiven for Apache Kafka Connectが追加システムで登場。Apache Kafkaを使えば使うほど、外部システムに接続するための設定を自分で管理するのが面倒になってきます。そこで、Kafka ConnectやAivenのようなフルマネージドの分散サービスが本領を発揮する。
Apache Kafka Connectは、顧客が個別のコネクタを管理することなく、既存のデータソースとシンクをスケーラブルな方法でシームレスに統合することを可能にします。
例えば、Debeziumソースコネクタを使って、PostgreSQLのようなリレーショナルデータベースのトランザクションログのコミットされた変更を抽出し、それを複数のコンシューマーが簡単に読めるように標準フォーマットでKafkaトピックにプッシュすることができます。
Aiven for Apache Kafka MirrorMaker2
Aiven for Apache Kafka MirrorMaker2はデータレプリケーションのニーズに最適です。これを使えば、ハイブリッド・ワークロードを実行できる。つまり、自社のデータセンターでクラスタを維持しながら、他のサービスやクラスタをクラウドに移して拡張性を高めることができる。あるいは、複数のクラウド・リージョンやクラウド環境に異なる、あるいは同一のクラスタを配置する、真のマルチクラウド戦略を導入することもできる。
Aiven for Apache Kafka MirrorMaker2では、Apache Kafka向けのフルマネージド、フルオープンソースの分散データレプリケーションサービスを提供します。クラスタ間のデータレプリケーション、ディザスタリカバリ、リージョンやクラウドを超えた地理的な近接性を実現します。
カラペース
Karapaceは、完全にオープンソースのKafkaスキーマレジストリを提供する。アプリケーションはこれにアクセスして、AVRO、Protobuf、JSONといった一般的なフォーマットでメッセージをシリアライズ、デシリアライズできる。
これにより、イベントドリブンアーキテクチャの様々なコンポーネントやサービスを横断して、アプリケーションのスキーマやメタデータを一元管理することができます。
Aiven for Apache Flink
Aiven for Apache Flinkは、リアルタイムでデータを処理する機能を追加します。Apache Flink ベースのストリーミング SQL エンジンを使用することで、Apache Kafka に入力されたデータを外部サービスやシステムにプッシュする前に抽出、変換、分析することができます。
Apache Flinkは、バッチ処理から脱却し、クラスタ内で同時実行されるタスクの並列化を可能にする。例えば、Apache Kafkaから監視システムにデータを配信したり、長期保存する前にデータを変換したりすることができる。
Apache Flink® 用 Aiven
リアルタイムETLやストリーミング分析のユースケースに対応するApache Flinkのフルマネージドサービスです。
Klaw
Klawは、Apache Kafkaインフラストラクチャが複雑化し、中間レイヤーなしでは快適に管理できない場合に役立ちます。Klawを使えば、トピックを管理し、適切なチームがApache Kafkaの適切なデータにアクセスできるようにすることができます。
初期段階では、スプレッドシートや電子メールベースのリクエスト／承認システムを使うかもしれません。Apache Kafkaとやり取りするチームが比較的少ないうちは、これでも問題ありません。しかし、組織が大きくなるにつれて、このような単発のプロセスは、おそらくApache Kafkaを大規模に管理・運用する際のボトルネックになるでしょう。
Klawの登場です。オープンソースのデータガバナンスツールで、企業がApache Kafka®のトピックとスキーマのガバナンスを実行し、DevOpsチームとデータエンジニアリングチームにまたがる自動化されたプロセスと承認フローを提供します。
オープンソースが本当に違いを生むとき
Aivenは、オープンソースは業界に最高の技術を提供するという確固たる信念を持っています。私たちはオープンソースの維持に尽力しており、オープンソース技術を前進させる上で重要な役割を果たし続けたいと考えています。
オープンソースのルーツと価値観に基づき、私たちはApache Kafkaのエンジニアと開発者が、自分たちが使用するソリューションによって力を与えられたと感じられるようにしたいと考えています。彼らは、Aivenの有無にかかわらず、Apache Kafkaの旅を通して彼らをサポートする活発なコミュニティがあることを知る必要があります。
Apache Kafkaを取り巻くAivenのエコシステムのすべてのコンポーネントがオープンソースベースであるのはそのためです。私たちは、これらのテクノロジーのコードベースが、開発者が使用するツールやサービスから何を必要としているかを深く理解している包括的なコミュニティによって維持され、サポートされていることを保証したいと考えています。
Apache Kafkaに関するAivenのエコシステム探検への招待状
Apache KafkaのためのAivenのエコシステムの様々な技術やツールがどのように連携できるのか、もっと知りたいとお考えですか？まずはこちらのリソースをご覧ください：
今日、最初の一歩を踏み出そう
Apache Kafka®によるイベントストリーミングが必要なものかどうか、Aivenのエキスパートにご相談ください。
今すぐデモを予約
マネージドデータプラットフォームをお探しですか？無料トライアルにお申し込みください！