概要
今回は、第一回で構築したConfluentのクラスタを利用しConfluent Control CenterにログインしてKafkaコネクタについてGUI上で確認してみたいと思います。
Kafkaコネクタについてはメーカーの公式ドキュメントページに日本語で説明されておりますのでこちらをご参照下さい。
Confluent Control Centerにログイン
1.以下のURLでWebブラウザからコンフルエントコントロールセンターのGUIにアクセスします。
http://localhost:9021
この例では、以下の3つのコネクタについてみていきます。
・SSEソースコネクタ
・Elasticsearchシンクコネクタ
・Confluentレプリケーター
これらは、Confluentプラットフォームで構成されたConnectワーカーで実行されています。Connectワーカーに組み込まれたプロデューサーは、べき等であるように構成されています-(プロデューサーが再試行を引き起こすエラーが発生した場合、同じメッセージのみがブローカーのKafkaログに1回だけ書き込まれます。)
1.Kafka ConnectDockerコンテナはカスタムイメージです。そのベースイメージは、ConnectとReplicatorをバンドルするcp-enterprise-replicatorです。詳細については、このDockerfileを参照してください。
2.Confluent Control Centerは、Kafka ConnectAPIを使用して複数のコネクトクラスターを管理できます。ここでは、Overviewの画面で左メニューから「Connect」をクリックします。
3.次にConnectワーカーのクラスターの名前である「connect1」をクリックします。
4.この例で実行されているコネクタを確認します。
・ソースコネクタwikipedia-sse:この例のSSEソースコネクタの詳細はこの構成ファイルで確認できます。
・ソースコネクタreplicate-topic:この例のReplicatorコネクタの詳細はこの構成ファイルで確認できます。
・KafkaトピックのWIKIPEDIABOTから取り込むelasticsearch-ksqldbシンクコネクタ:この例のElasticsearchシンクコネクタの詳細はこの構成ファイルで確認できます。
5.コネクタ構成の詳細を確認したり変更したい場合は、対象のコネクタ名をクリックすることでGUI上から詳細の確認、変更ができます。
6.このGUIで設定や変更が完了すれば「Next」をクリックすることで下図のように実際のConfligを確認することができます。ここで問題なければ「Launch」をクリックして適用します。
個人的には運用の段階であればGUI経由でパラメータを変更できるので便利ではないかと思った次第です。
次回は、KsqlDBについてみていきたいと思っています。
今回も最後までお読み頂きありがとうございました!