LoginSignup
3
1

More than 1 year has passed since last update.

【第4回】Confluent Platformのデモを試してみる(Kafkaコネクト編)

Last updated at Posted at 2021-11-10

概要

今回は、第一回で構築したConfluentのクラスタを利用しConfluent Control CenterにログインしてKafkaコネクタについてGUI上で確認してみたいと思います。
Kafkaコネクタについてはメーカーの公式ドキュメントページに日本語で説明されておりますのでこちらをご参照下さい。

Confluent Control Centerにログイン

1.以下のURLでWebブラウザからコンフルエントコントロールセンターのGUIにアクセスします。

http://localhost:9021

この例では、以下の3つのコネクタについてみていきます。
 ・SSEソースコネクタ
 ・Elasticsearchシンクコネクタ
 ・Confluentレプリケーター
これらは、Confluentプラットフォームで構成されたConnectワーカーで実行されています。Connectワーカーに組み込まれたプロデューサーは、べき等であるように構成されています-(プロデューサーが再試行を引き起こすエラーが発生した場合、同じメッセージのみがブローカーのKafkaログに1回だけ書き込まれます。)

1.Kafka ConnectDockerコンテナはカスタムイメージです。そのベースイメージは、ConnectとReplicatorをバンドルするcp-enterprise-replicatorです。詳細については、このDockerfileを参照してください。

2.Confluent Control Centerは、Kafka ConnectAPIを使用して複数のコネクトクラスターを管理できます。ここでは、Overviewの画面で左メニューから「Connect」をクリックします。
スクリーンショット 2021-11-04 13.24.14.png

3.次にConnectワーカーのクラスターの名前である「connect1」をクリックします。
スクリーンショット 2021-11-04 13.43.11.png

4.この例で実行されているコネクタを確認します。
 ・ソースコネクタwikipedia-sse:この例のSSEソースコネクタの詳細はこの構成ファイルで確認できます。
 ・ソースコネクタreplicate-topic:この例のReplicatorコネクタの詳細はこの構成ファイルで確認できます。
 ・KafkaトピックのWIKIPEDIABOTから取り込むelasticsearch-ksqldbシンクコネクタ:この例のElasticsearchシンクコネクタの詳細はこの構成ファイルで確認できます。
スクリーンショット 2021-11-04 13.40.13.png

5.コネクタ構成の詳細を確認したり変更したい場合は、対象のコネクタ名をクリックすることでGUI上から詳細の確認、変更ができます。
スクリーンショット 2021-11-04 13.47.13.png

6.このGUIで設定や変更が完了すれば「Next」をクリックすることで下図のように実際のConfligを確認することができます。ここで問題なければ「Launch」をクリックして適用します。
スクリーンショット 2021-11-08 16.39.20.png
個人的には運用の段階であればGUI経由でパラメータを変更できるので便利ではないかと思った次第です。

次回は、KsqlDBについてみていきたいと思っています。
今回も最後までお読み頂きありがとうございました!

3
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3
1