Kafka 教程

16 篇文章 整理于 2026-11-15

用 Docker 启动 Kafka 3.9.1 单节点,创建 Topic、发送并消费两条消息,再用 Java 示例练习手动提交 offset。

Kafka 3.9.1 快速开始

准备好 Docker,就能先跑一遍最短的收发流程。下面用 Apache 的 apache/kafka:3.9.1 镜像起一个单节点 KRaft,Kafka 命令都在容器里执行。容器用 --network none 启动,localhost:9092 是容器内的地址。这个配置用于本地练习。

启动 Kafka

docker run --rm -d --network none --name kafka-quickstart apache/kafka:3.9.1

容器启动后,等日志出现 Kafka Server started 再继续。第一次查不到就过几秒再试。

docker logs kafka-quickstart 2>&1 | grep -F 'Kafka Server started'
docker exec kafka-quickstart /opt/kafka/bin/kafka-topics.sh --version

实测日志和版本输出:

[2026-11-15 02:39:38,311] INFO [KafkaRaftServer nodeId=1] Kafka Server started (kafka.server.KafkaRaftServer)
3.9.1

创建 Topic

给 quickstart-events 建一个分区,副本因子设为 1,与单节点环境相符。

docker exec kafka-quickstart /opt/kafka/bin/kafka-topics.sh \
  --bootstrap-server localhost:9092 --create --topic quickstart-events \
  --partitions 1 --replication-factor 1
Created topic quickstart-events.

发送两条消息

printf 输出两行,生产者每行发送一条消息。docker exec -i 把管道里的内容送进容器。

printf 'order-created\norder-paid\n' | \
  docker exec -i kafka-quickstart /opt/kafka/bin/kafka-console-producer.sh \
    --bootstrap-server localhost:9092 --topic quickstart-events

这条命令实测正常退出,终端没有输出。下一步通过消费结果确认两条消息都写了进去。

消费并查看 offset

用 --from-beginning 从头读,--max-messages 2 让消费者读到两条就退出。打印分区和 offset,能看出两条消息在分区内的位置。

docker exec kafka-quickstart /opt/kafka/bin/kafka-console-consumer.sh \
  --bootstrap-server localhost:9092 --topic quickstart-events \
  --from-beginning --max-messages 2 --timeout-ms 15000 \
  --property print.partition=true --property print.offset=true
Partition:0	Offset:0	order-created
Partition:0	Offset:1	order-paid
Processed a total of 2 messages

两条消息都在分区 0。这里打印的 0 和 1 是消息在分区里的位置。想接着看 Java 消费者处理完再提交时会记录哪个位置,可以读 Kafka 消费与手动提交。

练完后停止容器。启动时加了 --rm,Docker 会在退出后移除容器。再次练习时从启动命令重新执行。

docker stop kafka-quickstart

参考 Apache Kafka 3.9 官方快速开始。

阅读前准备与来源说明

Kafka 教程