Apache Kafka をコマンドラインと Spring アプリケーションで動かしてイベント駆動型アーキテクチャの雰囲気をつかむ

はじめに

GxP の清田です。

イベント駆動型アーキテクチャ を実現するための技術の1つである、
Apach Kafka (以降 Kafka と記載) を動かして学んでみます。

素振りをしようと思った動機は、@yusuke_arclamp さんの『マイクロサービスの次に来るかもしれない言葉について』や、
社内イベント 『TechTalk「この20年の Agile, DevOps, Microservices の流れについて」』 で Kafka を耳にして気になっていたからです。

Microservice におけるシステム間連携の方法として、イベント駆動型アーキテクチャには以下の特徴があります。

• 同期的なAPIの連携でなく非同期の連携

• データを共有するのではなくイベントを配信する

• イベントの発行元は誰が受け取るかを気にしなくて良い(=疎結合)

これまでの開発経験で触れたことのないものだったので、一度動くアプリケーションを作って恐怖心をなくしておこうと思います。

---

対象読者

• イベント駆動型アーキテクチャに興味のある人

• Kafka を 動かして概念の一部を理解したい人

  • Docker Compose でコンテナを起動して CLI で動かして学ぶ
  • Spring for Apache Kafka で簡単な producer, consumer を実装する

• イベントを複数のシステムが受け取って、それぞれの解釈で処理する 実装のイメージを掴みたい人

上記のいずれかに該当する場合、楽しんでいただけるかも知れません。

---

記載しないこと

• 脱 Zookeeper を支える技術である Apache Kafka Raft (KRaft) について

• Kafka のクラウド環境でのデプロイ(Amazon Managed Streaming for Apache Kafka など)について

• イベントの配信の保証(At Least One や Exactly Once) について

• RabbitMQ などの message brokers との比較について

• Amazon Simple Queue Service や Cloud Pub/Sub などのパブリッククラウドで提供されているサービスとの使い分けについて

上記の話題については、学習中で知識を有していないため記載しないです。(いずれも気になる)

---

Kafkaとは

あたりの説明で日本語でざっと読めるものとしては、以下の記事が大変参考になりました。
この記事では概念の1つずつの紹介はしていないので、参照いただけますとイメージを掴みやすいと思います。

個人的には、動かして学ぶことでこの辺りの記載を実感を持って理解することができました。

Apache Kafka（以降、Kafka）はスケーラビリティに優れた分散メッセージキューです。
Kafkaは処理性能を重視したメッセージキューであり、複数台のマシンでクラスタを構成して分散処理を行うことで、高いスループットを発揮します。後からクラスタにマシンを追加することで、処理性能とデータ保持容量をスケールアウトすることもできます。また、Kafkaはクラスタ内でデータを複製するため、一部のマシンに障害が発生してもデータを失うことなく処理を継続できます。

※イメージを掴んだ上で、Confluent のドキュメントや Kafaka のドキュメント を確認しました

---

Docker Compose でコンテナを起動して CLI で動かして学ぶ

まずは低レイヤーから学んでいきます。
登場人物は以下の図のものです。

GitHub にサンプルを用意(KiyotaTakeshi/kafka-playground) しましたので手元で動かして確認ができます。

さくっと broker 3台でクラスターを作成します。
※今回は Zookeeper が必要な image(bitnami/kafka) を使用しています

$ git clone https://github.com/KiyotaTakeshi/kafka-playground.git

$ cd  kafka-playground

$ docker compose up -d

$ docker compose ps
NAME                           COMMAND                  SERVICE             STATUS              PORTS
kafka-playground-kafka1-1      "/opt/bitnami/script…"   kafka1              running             0.0.0.0:49760->9092/tcp
kafka-playground-kafka2-1      "/opt/bitnami/script…"   kafka2              running             0.0.0.0:49761->9092/tcp
kafka-playground-kafka3-1      "/opt/bitnami/script…"   kafka3              running             0.0.0.0:49762->9092/tcp
kafka-playground-zookeeper-1   "/opt/bitnami/script…"   zookeeper           running             0.0.0.0:2181->2181/tcp

任意の broker コンテナに入り、topic を作成します。

# どの broker に exec するかは任意(今回は kafka1)
$ docker compose exec kafka1 bash

# まずは replica は1でつくる
# partitions は4でつくる
$ /opt/bitnami/kafka/bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --replication-factor 1 --partitions 4

作成したものを確認します。
出力から以下のことがわかります。

• broker が3台に対して、 partition を4つに設定したため、1002(数字は実行によって異なります) の broker が2つの partiton の Leader になっている
• replica は1にしているので、各 partition は1台の broker のみが保持している
  • Isr(In-Sync Replica) が Leader と同じ broker のみ

$ /opt/bitnami/kafka/bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic test-topic

Topic: test-topic	TopicId: sqlIpd0oSEC3d7PJC3c_Dg	PartitionCount: 4	ReplicationFactor: 1	Configs: segment.bytes=1073741824
	Topic: test-topic	Partition: 0	Leader: 1002	Replicas: 1002	Isr: 1002
	Topic: test-topic	Partition: 1	Leader: 1001	Replicas: 1001	Isr: 1001
	Topic: test-topic	Partition: 2	Leader: 1003	Replicas: 1003	Isr: 1003
	Topic: test-topic	Partition: 3	Leader: 1002	Replicas: 1002	Isr: 1002

では、producer と consumer でメッセージのやり取りができることを確認します。
※関係する概念だけ記載した図です

シェルを2つ起動する必要があります。

# シェル1
# consumer の起動
$ /opt/bitnami/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-topic

# シェル2
# どの Broker に exec するかは任意
$ docker compose exec kafka1 bash

# producer を起動しメッセージを送る
$ /opt/bitnami/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic
>hello
>world

consumer 側でメッセージを受信できました。

# シェル1
$ /opt/bitnami/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-topic

hello
world

もう1つシェルを立ち上げて、 consumer を増やしてみます。

# シェル3
$ docker compose exec kafka1 bash

$ /opt/bitnami/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-topic

producer からメッセージを送ると、

# シェル2
$ /opt/bitnami/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic
>goodbye

2つの consumer がメッセージを受信できていることがわかります。

# シェル1
$ /opt/bitnami/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-topic

goodbye

# シェル3
$ /opt/bitnami/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-topic

goodbye

このことから、 同じ topic から2つの consumer がメッセージを受信できる ことがわかります。
イベント駆動型アーキテクチャにおける、「イベントを複数のシステムが受け取る」が実現 できていますね(まだ CLI 上ですが)。

2つの consumer が別の subscriber として振る舞ったのはなぜでしょうか？
理由は、別の consumer group だからです。

producer を停止して、確認してみます。

# シェル2
$ /opt/bitnami/kafka/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
console-consumer-32834
console-consumer-40587

では、2つの consumer を同じ consumer group で立ち上げます。

# シェル1
# console-consumer という consumer group で起動
$ /opt/bitnami/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \
--topic test-topic --group console-consumer

# シェル3
$ /opt/bitnami/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \
--topic test-topic --group console-consumer

この状態で、 producer からメッセージを送ると

# シェル2
$ /opt/bitnami/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic
>hello
>world
>goodbye

2分の1でそれぞれの consumer がメッセージを受信します。

# シェル1
$ /opt/bitnami/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \
> --topic test-topic --group console-consumer

goodbye

# シェル3
$ /opt/bitnami/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \
> --topic test-topic --group console-consumer

hello
world

つまり、 とある topic に対して同じ処理をする consumer のスケールアウト が実現できました(今回はただコンソールに出力されるだけですが)。

ここまでで

• 別の consumer group で起動して、同じ topic を複数の consumer で受け取る
  • イベントのシステムごとの解釈
• 同じ consumer group で起動して、topic を複数の同じ処理をする consumer 間で受け取る
  • 同じ解釈をするシステムのスケールアウト

が確認できました。

---

では、次は broker 側のスケールアウトについて見ていきます。

以下の図のように、複数の replica を指定することで Topic の partition を複数の broker に持つことができます。

まず、コンテナを停止しホスト側にマウントしているデータも吹き飛ばします。
(先程作成した topic や consumer group 等がなくなります)

$ docker compose down && rm -rf .docker

コンテナを再起動し、コンテナに入ります。

$ docker compose up -d && docker compose ps

$ docker compose exec kafka1 bash

今度は、 replica 数を3(broker と同じ台数)で指定し、作成します。

# 作成
$ /opt/bitnami/kafka/bin/kafka-topics.sh --create --topic test-topic-replicated \
> --bootstrap-server localhost:9092 --replication-factor 3 --partitions 4

作成したものを確認します。
出力から以下のことがわかります。

• broker が3台に対して、 partition を4つに設定したため、1002(数字は実行によって異なります) の broker が2つの partiton の Leader になっている
• replica を3にしているので、各 partition は3台の broker が保持している
  • Isr(In-Sync Replica) が3台

$ /opt/bitnami/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic test-topic-replicated

Topic: test-topic-replicated	TopicId: w7ITwLFVTZi3m2AKNAUYIg	PartitionCount: 4	ReplicationFactor: 3	Configs: segment.bytes=1073741824
	Topic: test-topic-replicated	Partition: 0	Leader: 1002	Replicas: 1002,1001,1003	Isr: 1002,1001,1003
	Topic: test-topic-replicated	Partition: 1	Leader: 1001	Replicas: 1001,1003,1002	Isr: 1001,1003,1002
	Topic: test-topic-replicated	Partition: 2	Leader: 1003	Replicas: 1003,1002,1001	Isr: 1003,1002,1001
	Topic: test-topic-replicated	Partition: 3	Leader: 1002	Replicas: 1002,1003,1001	Isr: 1002,1003,1001

では、 broker を停止してみましょう。

# 任意のコンテナを停止
$ docker compose stop kafka2

topic を確認してみると(コンテナ内部に入ってコマンド実行でもいいです)、出力から以下のことがわかります。

• 停止した broker が Leader でなくなっている
• 停止した broker が Isr(In-Sync Replica) に含まれなくなっている
• 動作している broker で partition の Leader を分け合っている

$ docker compose exec -T kafka1 /bin/bash <<EOF
/opt/bitnami/kafka/bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic test-topic-replicated
EOF

Topic: test-topic-replicated	TopicId: w7ITwLFVTZi3m2AKNAUYIg	PartitionCount: 4	ReplicationFactor: 3	Configs: segment.bytes=1073741824
	Topic: test-topic-replicated	Partition: 0	Leader: 1001	Replicas: 1002,1001,1003	Isr: 1001,1003
	Topic: test-topic-replicated	Partition: 1	Leader: 1001	Replicas: 1001,1003,1002	Isr: 1001,1003
	Topic: test-topic-replicated	Partition: 2	Leader: 1003	Replicas: 1003,1002,1001	Isr: 1003,1001
	Topic: test-topic-replicated	Partition: 3	Leader: 1003	Replicas: 1002,1003,1001	Isr: 1003,1001

では、止めていた broker を起動します。

$ docker compose start kafka2

再度 topic を確認してみると以下のことがわかりました。

• Isr(In-Sync Replica) に再度起動した broker が含まれている
• 再度起動した broker は partition の Leader には選出されていない

$ docker compose exec -T kafka1 /bin/bash <<EOF
/opt/bitnami/kafka/bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic test-topic-replicated
EOF

Topic: test-topic-replicated	TopicId: w7ITwLFVTZi3m2AKNAUYIg	PartitionCount: 4	ReplicationFactor: 3	Configs: segment.bytes=1073741824
	Topic: test-topic-replicated	Partition: 0	Leader: 1001	Replicas: 1002,1001,1003	Isr: 1001,1003,1002
	Topic: test-topic-replicated	Partition: 1	Leader: 1001	Replicas: 1001,1003,1002	Isr: 1001,1003,1002
	Topic: test-topic-replicated	Partition: 2	Leader: 1003	Replicas: 1003,1002,1001	Isr: 1003,1001,1002
	Topic: test-topic-replicated	Partition: 3	Leader: 1003	Replicas: 1002,1003,1001	Isr: 1003,1001,1002

※ちなみに、この状態で別の broker (今回だと kafka3)を停止すると、
先程起動した broker が Leader に含まれる挙動になりました

これらの検証で、 broker の台数を増やし replica に設定することで、
producer, consumer とやりとりをする基盤としての broker の可用性を高めることができるとわかりました。

---

最後に broker が実体としてどのように topic を保存しているのかを確認します。

ホスト側にマウントしているデータを確認します。topic の partition ごとにディレクトリが切られているようです。

$ ls .docker/kafka1/data/test-topic-replicated-?
.docker/kafka1/data/test-topic-replicated-0:
00000000000000000000.index	00000000000000000000.log	00000000000000000000.timeindex	leader-epoch-checkpoint		partition.metadata

.docker/kafka1/data/test-topic-replicated-1:
00000000000000000000.index	00000000000000000000.log	00000000000000000000.timeindex	leader-epoch-checkpoint		partition.metadata

.docker/kafka1/data/test-topic-replicated-2:
00000000000000000000.index	00000000000000000000.log	00000000000000000000.timeindex	leader-epoch-checkpoint		partition.metadata

.docker/kafka1/data/test-topic-replicated-3:
00000000000000000000.index	00000000000000000000.log	00000000000000000000.timeindex	leader-epoch-checkpoint		partition.metadata

$ ls -ld .docker/kafka1/data/test-topic-replicated-*
drwxr-xr-x  7 t.kiyota  AD\Domain Users  224 Dec 15 16:03 .docker/kafka1/data/test-topic-replicated-0
drwxr-xr-x  7 t.kiyota  AD\Domain Users  224 Dec 15 16:03 .docker/kafka1/data/test-topic-replicated-1
drwxr-xr-x  7 t.kiyota  AD\Domain Users  224 Dec 15 15:33 .docker/kafka1/data/test-topic-replicated-2
drwxr-xr-x  7 t.kiyota  AD\Domain Users  224 Dec 15 15:33 .docker/kafka1/data/test-topic-replicated-3

replica を3で指定したため、それぞれの broker に同様のデータが存在しています。

$ ls -ld .docker/kafka2/data/test-topic-replicated-?
drwxr-xr-x  7 t.kiyota  AD\Domain Users  224 Dec 15 16:12 .docker/kafka2/data/test-topic-replicated-0
drwxr-xr-x  7 t.kiyota  AD\Domain Users  224 Dec 15 15:33 .docker/kafka2/data/test-topic-replicated-1
drwxr-xr-x  7 t.kiyota  AD\Domain Users  224 Dec 15 15:33 .docker/kafka2/data/test-topic-replicated-2
drwxr-xr-x  7 t.kiyota  AD\Domain Users  224 Dec 15 16:12 .docker/kafka2/data/test-topic-replicated-3

$ ls -ld .docker/kafka3/data/test-topic-replicated-?
drwxr-xr-x  7 t.kiyota  AD\Domain Users  224 Dec 15 15:33 .docker/kafka3/data/test-topic-replicated-0
drwxr-xr-x  7 t.kiyota  AD\Domain Users  224 Dec 15 15:33 .docker/kafka3/data/test-topic-replicated-1
drwxr-xr-x  7 t.kiyota  AD\Domain Users  224 Dec 15 16:03 .docker/kafka3/data/test-topic-replicated-2
drwxr-xr-x  7 t.kiyota  AD\Domain Users  224 Dec 15 16:03 .docker/kafka3/data/test-topic-replicated-3

以上で CLI での検証は終わります。
コンテナ起動して CLI で動作検証することで Kafka の主要な概念についてイメージが膨らんだのではないでしょうか。

---

Spring for Apache Kafka で簡単な producer, consumer を実装する

次は Kafka とやりとりをするアプリケーションを開発し、イベント駆動型アーキテクチャの理解を深めていきます。

最終的に動作するものは、
GitHub のサンプル(KiyotaTakeshi/kafka-spring-sample)の Gif を見ていただくとイメージがしやすいと思います。
Qiita の容量制限を超えているのか Gif が貼れなかった...

図にすると以下のものです。

• order producer(Spring Boot) がWebリクエストを受け付けて、 topic(order-events) にイベントを発行
• order notification(Spring Boot) がイベントを受け取ってメールを送信
  • コンテナ起動している mailhog にて受信したメールを確認できる
• order rdb(Sring Boot) がイベントを受け取って MySQL に保存

という構成です。

• producer 側のアプリケーションはイベントを発行するところまでしか気にしない
• consumer はイベントを受け取って各々の処理を行う

というイベント駆動型アーキテクチャをシンプルですが実現しました。
(他にもオブジェクトのまま NoSQL に保存する consumer があってもいいかも)

---

では order producer の実装を見ていきます。

topic の作成は Configuration クラスにより行っています。

@Configuration
public class AutoCreateConfig {

    // if you create manual
    // $ ./bin/kafka-topics.sh --create --topic order-events --bootstrap-server localhost:9092 --replication-factor 3 --partitions 3
    @Bean
    public NewTopic orderEvents(){
        return TopicBuilder.name("order-events")
                .partitions(3)
                .replicas(3)
                .build();
    }
}

controller がリクエストを受け付けて、

@RestController
@RequestMapping("/order-events")
@Slf4j
@AllArgsConstructor
public class OrderEventsController {

    private OrderEventProducer orderEventProducer;

    @PostMapping
    public ResponseEntity<OrderEvent> postOrderEvent(@RequestBody @Valid OrderEvent orderEvent)
            throws JsonProcessingException {

        log.info("invoke kafka producer");
        orderEvent.setOrderEventType(OrderEventType.NEW);
        orderEventProducer.sendOrderEvent(orderEvent);

        return ResponseEntity.status(HttpStatus.CREATED).body(orderEvent);
    }

kafkaTemplate を使用して topic に対して非同期で message を送信します。

    public ListenableFuture<SendResult<Integer, String>> sendOrderEvent(OrderEvent orderEvent) throws JsonProcessingException {
        Integer key = orderEvent.getOrderEventId();
        String value = objectMapper.writeValueAsString(orderEvent);
        ListenableFuture<SendResult<Integer, String>> listenableFuture = kafkaTemplate.send(TOPIC, key, value);

        listenableFuture.addCallback(new ListenableFutureCallback<>() {
            @Override
            public void onFailure(Throwable ex) {
                handleFailure(key, value, ex);
            }

            @Override
            public void onSuccess(SendResult<Integer, String> result) {
                handleSuccess(key, value, result);
            }
        });
        return listenableFuture;
    }

イベントを配るだけなのでシンプルな実装になっています。

application.yaml は接続先の Kafka Cluster の情報やシリアライズ、デシリアライズの設定を記載します。
admin の設定は上記の topic の生成で必要なものです。

spring:
  kafka:
    template:
      default-topic: "order-events"
    producer:
      bootstrap-servers:
        - localhost:9092
        - localhost:9093
        - localhost:9094
      key-serializer: org.apache.kafka.common.serialization.IntegerSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    admin:
      properties:
        bootstrap.servers: localhost:9092,localhost:9093,localhost:9094

---

次に order notification の実装を見ていきます。

こちらの application.yaml は consumer として接続先の Kafka Cluster の情報を記載しています。
また、メールの送信先の情報も記載しています。
(今回はコンテナ起動した mailhog を使用していますが、 mailtrap のようなクラウドサービスを使ってもいいかもです)

group-id: order-notification-events-group で指定してるのは consumer group です。

spring:
  kafka:
    consumer:
      bootstrap-servers:
        - localhost:9092
        - localhost:9093
        - localhost:9094
      key-deserializer: org.apache.kafka.common.serialization.IntegerDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      group-id: order-notification-events-group
  mail:
    # if you use mailtrap instead of mailhog
    # host: smtp.mailtrap.io
    host: localhost
    port: 1025
    # username: dummy
    # password: dummy
    protocol: smtp

@KafkaListener で topic を指定することで、 event を受け取って処理することができます。

@Component
@Slf4j
@AllArgsConstructor
public class OrderEventsConsumer {

    private final OrderEventsService orderEventsService;

    @KafkaListener(topics = {"order-events"})
    public void onMessage(ConsumerRecord<Integer, String> consumerRecord) throws JsonProcessingException {
        log.info("ConsumerRecord: {} ", consumerRecord);
        orderEventsService.processOrderEvent(consumerRecord);
    }
}

テンプレートエンジンである Thymeleaf で、
event として受け取ったオブジェクトを本文に含めた HTML 形式のメールを送信します。

    private void sendMail(NotificationEmail notificationEmail) {
        MimeMessagePreparator messagePreparer = mimeMessage -> {
            MimeMessageHelper helper = new MimeMessageHelper(mimeMessage, "UTF-8");
            helper.setFrom("[e-mail]");
            helper.setTo(notificationEmail.getRecipient());
            helper.setSubject(notificationEmail.getSubject());
            helper.setText(build(notificationEmail.getBody()), true);
        };
        try {
            mailSender.send(messagePreparer);
            log.info("Email sent!!");
        } catch (MailException e) {
            log.error("Exception occurred when sending mail", e);
            throw new RuntimeException("Exception occurred when sending mail to " + notificationEmail.getRecipient(), e);
        }
    }

---

最後に order rdb の実装を見ていきます。

application.yaml は order notification と同じ Kafka に関する設定に加えて DB 周りの設定を記載しています。

order notification とは別の consumer group の group-id: order-rdb-events-group が指定されていることがポイントです。

CLI で確認したように 同じ topic から consumer が別の処理をするため(同じイベントを複数のシステムが受け取るため)に、別のIDが指定 されています。

spring:
  kafka:
    consumer:
      bootstrap-servers:
        - localhost:9092
        - localhost:9093
        - localhost:9094
      key-deserializer: org.apache.kafka.common.serialization.IntegerDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      group-id: order-rdb-events-group
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://localhost:3306/kafka-spring-sample?createDatabaseIfNotExist=true
    username: root
    password: 1qazxsw2
  jpa:
    show-sql: true
    properties:
      hibernate:
        dialect: org.hibernate.dialect.MySQL8Dialect
        format_sql: true
    hibernate:
      ddl-auto: update
# パラメータの値をログに表示 ex.) binding parameter [1] as [INTEGER] - [1]
# 2021-11-21 00:55:11.604 TRACE 11400 --- [ main] o.h.type.descriptor.sql.BasicBinder      : binding parameter [1] as [BIGINT] - [1]
logging.level.org.hibernate.type.descriptor.sql.BasicBinder: trace

topic を指定してイベントを受け取る処理は同じです。

@Component
@Slf4j
@AllArgsConstructor
public class OrderEventsConsumer {

    private final OrderEventsService orderEventsService;

    @KafkaListener(topics = {"order-events"})
    public void onMessage(ConsumerRecord<Integer, String> consumerRecord) throws JsonProcessingException {
        log.info("ConsumerRecord: {} ", consumerRecord);
        orderEventsService.processOrderEvent(consumerRecord);
    }
}

あとは受け取ったイベントのモデルで MySQL に保存しています。

    private void save(OrderEvent orderEvent) {
        orderEvent.getOrder().setOrderEvent(orderEvent);
        orderEventsRepository.save(orderEvent);
        log.info("Successfully Persisted the Order Event {}", orderEvent);
    }

---

では、 HTTP リクエストしてみましょう。
※サンプルコード(KiyotaTakeshi/kafka-spring-sample)に postman のコレクションを配置しています

もろもろ必要なコンテナを起動します。

$ docker compose up -d

$ docker compose ps                                                             

NAME                COMMAND                  SERVICE             STATUS              PORTS
order-kafka1        "/opt/bitnami/script…"   kafka1              running             0.0.0.0:9092->9092/tcp
order-kafka2        "/opt/bitnami/script…"   kafka2              running             0.0.0.0:9093->9093/tcp
order-kafka3        "/opt/bitnami/script…"   kafka3              running             0.0.0.0:9094->9094/tcp
order-mailhog       "MailHog"                mailhog             running             0.0.0.0:1025->1025/tcp, 0.0.0.0:8025->8025/tcp
order-mysql         "docker-entrypoint.s…"   mysql               running             0.0.0.0:3306->3306/tcp
order-zookeeper     "/opt/bitnami/script…"   zookeeper           running             0.0.0.0:2181->2181/tcp

root project でビルドして executable jar を生成します。
IDE で起動しても問題ないです！

$ export JAVA_HOME=`/usr/libexec/java_home -v 11`

$ java -version                                                                
openjdk version "11.0.11" 2021-04-20 LTS
OpenJDK Runtime Environment Corretto-11.0.11.9.1 (build 11.0.11+9-LTS)
OpenJDK 64-Bit Server VM Corretto-11.0.11.9.1 (build 11.0.11+9-LTS, mixed mode)

$ ./gradlew clean build

$ ls -l order-notification-consumer/build/libs/order-notification-consumer-0.0.1-SNAPSHOT.jar

$ ls -l order-producer/build/libs/order-producer-0.0.1-SNAPSHOT.jar

$ ls -l order-rdb-consumer/build/libs/order-rdb-consumer-0.0.1-SNAPSHOT.jar

topic を作成するため、 order producer から起動します。

$ java -jar order-producer/build/libs/order-producer-0.0.1-SNAPSHOT.jar

そして order notification, order rdb を起動すると準備完了です。

$ java -jar order-notification-consumer/build/libs/order-notification-consumer-0.0.1-SNAPSHOT.jar

$ java -jar order-rdb-consumer/build/libs/order-rdb-consumer-0.0.1-SNAPSHOT.jar 

HTTP リクエストをすると、

$ curl --location --request POST 'http://localhost:8080/order-events' \
--header 'Content-Type: application/json' \
--data-raw '{
    "orderEventId": null,
    "order": {
        "id": 43333,
        "name": "チョコモナカジャンボ",
        "price": 145
    }
}'

DB にレコードが保存され、

select * from orders;

/*
+-----+----------+-----+--------------+
|id   |name      |price|order_event_id|
+-----+----------+-----+--------------+
|43333|チョコモナカジャンボ|145  |1             |
+-----+----------+-----+--------------+
*/

チョコモナカジャンボ の購入を受け付けたメールが届きました。

イベント駆動型アーキテクチャで複数のアプリが各々の解釈でイベントを処理するイメージが掴めましたね。

---

では consumer を複数起動してみましょう。複数のシェルで executable jar を実行してみます。
そうすると興味深いログが出力されます。

order-notification-events-group: partitions assigned: [order-events-0] から、
consumer がどの partition と疎通するかがわかります。

# シェル1
$ java -jar order-notification-consumer/build/libs/order-notification-consumer-0.0.1-SNAPSHOT.jar

2021-12-15 18:49:59.734  INFO 70648 --- [ntainer#0-0-C-1] o.s.k.l.KafkaMessageListenerContainer    : order-notification-events-group: partitions assigned: [order-events-2]

# シェル2
$ java -jar order-notification-consumer/build/libs/order-notification-consumer-0.0.1-SNAPSHOT.jar

2021-12-15 18:49:59.732  INFO 70918 --- [ntainer#0-0-C-1] o.s.k.l.KafkaMessageListenerContainer    : order-notification-events-group: partitions assigned: [order-events-1]

# シェル3
$ java -jar order-notification-consumer/build/libs/order-notification-consumer-0.0.1-SNAPSHOT.jar

2021-12-15 18:49:59.740  INFO 71159 --- [ntainer#0-0-C-1] o.s.k.l.KafkaMessageListenerContainer    : order-notification-events-group: partitions assigned: [order-events-0]

この状態でリクエストしてみても、consumer group が同じ consumer を複数起動しているだけなので、
event は1回しか処理されず、バニラモナカジャンボの購入を受け付けたメールも一度しか送信しません。

2021-12-15 18:53:44.635  INFO 70918 --- [ntainer#0-0-C-1] c.k.o.service.OrderEventsService         : orderEvent: OrderEvent(orderEventId=null, orderEventType=NEW, order=Order(id=41111, name=バニラモナカジャンボ, price=145))
2021-12-15 18:53:45.087  INFO 70918 --- [ntainer#0-0-C-1] c.k.o.service.OrderEventsService         : Email sent!!

consumer が1台ダウンしてしまった仮定して、プロセスを1つ止めてみます。
すると、 (Re-)joining group が走って、起動している consumer で partition が割り振られます。

# シェル1
2021-12-15 18:49:17.045  INFO 70648 --- [ntainer#0-0-C-1] o.a.k.c.c.internals.ConsumerCoordinator  : [Consumer clientId=consumer-order-notification-events-group-1, groupId=order-notification-events-group] (Re-)joining group

2021-12-15 18:57:54.080  INFO 70648 --- [ntainer#0-0-C-1] o.s.k.l.KafkaMessageListenerContainer    : order-notification-events-group: partitions assigned: [order-events-2]

# シェル2
2021-12-15 18:57:54.078  INFO 71159 --- [ntainer#0-0-C-1] o.s.k.l.KafkaMessageListenerContainer    : order-notification-events-group: partitions assigned: [order-events-1, order-events-0]

consumer として実装するアプリケーションを水平にスケールすることで、可用性を高める事ができます。
(それぞれの partition に均等にイベントが配信されるのであれば、 partition の数まで consumer を増やせば処理の並列度も上がりシステム全体のスループットも向上すると思います)

---

最後に

気になっていたイベント駆動アーキテクチャについて、動くものを作ったことで理解が進みました。(知らないものに対する恐怖心が和らぎました)

一方で、今回のメール送信にあたる「通知サービス」のように、
サービスを分割する粒度や設計方法については学習と経験を積む必要があると感じました。

また、 Kafka は broker, consumer などの各コンポーネントのスケーラビリティが高いことがわかりましたが、
イベント駆動アーキテクチャを実現するための技術として、ユースケースに合わせて適切な技術を選んでいくことも必要だと感じました。

---

参考

• Kafka: The Definitive Guide

• KIP-500: Replace ZooKeeper with a Self-Managed Metadata Quorum

• 「Kafka Summit 2020」開催！ストレージ階層化，ZooKeeperフリー，クラウドネイティブ ―次の10年に向けて進化を続けるKafkaのいま

• Exactly-Once Semantics Are Possible: Here’s How Kafka Does It

• Apache Kafka for Developers using Spring Boot[LatestEdition]

• Spring for Apache Kafka 公式ドキュメント

• spring.pleiades.io による Spring for Apache Kafka の日本語ドキュメント

• Using ThymeLeaf and FreeMarker Emails Templates with Spring

ソースコード

• KiyotaTakeshi/kafka-playground
• KiyotaTakeshi/kafka-spring-sample