docker-compose で Kafka の動作確認をしようとして、いつもハマるので基本的なやり方をメモしておく。
準備
ディレクトリを作って docker-compose.yml を書き込む。
$ mkdir kafka-test/
$ cd kafka-test/
$ vi docker-compose.yml
docker-compose.yml はこんな感じ。(KAFKA_ADVERTISED_HOST_NAME という環境変数の挙動がよく分かってなくていつもハマる。ちゃんと調べて理解しなきゃな…。)
version: '2'
services:
zookeeper:
image: wurstmeister/zookeeper
ports:
- "2181:2181"
kafka:
image: wurstmeister/kafka
ports:
- "9092"
environment:
KAFKA_ADVERTISED_HOST_NAME: 172.17.0.1
KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
volumes:
- /var/run/docker.sock:/var/run/docker.sock
Kafka/Zookeeper 起動
docker-compose up する。
$ docker-compose up -d
Creating network "kafkatest_default" with the default driver
Creating kafkatest_zookeeper_1
Creating kafkatest_kafka_1
ps でちゃんと立ち上がっていることを確認。
$ docker-compose ps
Name Command State Ports
-------------------------------------------------------------------------------------------------------------------
kafkatest_kafka_1 start-kafka.sh Up 0.0.0.0:32778->9092/tcp
kafkatest_zookeeper_1 /bin/sh -c /usr/sbin/sshd ... Up 0.0.0.0:2181->2181/tcp, 22/tcp, 2888/tcp, 3888/tcp
動作確認
ここでは公式のクイックスタートを参考に、基本的な操作を実行してみる。
トピック作成。
$ docker-compose exec kafka /opt/kafka/bin/kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic test
Created topic "test".
トピック一覧。
$ docker-compose exec kafka /opt/kafka/bin/kafka-topics.sh --list --zookeeper zookeeper:2181
test
メッセージ送信。
$ docker-compose exec kafka /opt/kafka/bin/kafka-console-producer.sh --broker-list kafka:9092 --topic test
test
test
test
メッセージ受信。
$ docker-compose exec kafka /opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server kafka:9092 --tic test --from-beginning
test
test
test
以上です。