在一台服务器上使用docker运行kafka集群

1.拉取镜像

docker pull wurstmeister/kafka

docker pull wurstmeister/zookeeper

2.创建集群之间通信的网络

docker network create kafka-cluster-net
docker network inspect kafka-cluster-net

3.将zookeeper加入到网络中

docker network connect kafka-cluster-net zookeeper

4.启动kafka集群

bash 复制代码
​
docker run -d \

--name kafka-0 \

--network kafka-cluster-net \

-p 9092:9092 \

-e KAFKA_BROKER_ID=0 \

-e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \

-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \

-e KAFKA_LISTENERS=PLAINTEXT://:9092 \

wurstmeister/kafka

​
  • 首先创建一个自定义网络,方便容器间通信:
  • 运行第一个 Kafka 容器:
  • --name kafka-0:给容器命名,这里以 kafka-0 表示第一个节点,后续可类推更改数字来创建不同节点。
  • --network kafka-cluster-net:让容器接入刚才创建的自定义网络。
  • -p 9092:9092:映射端口,使得外部能访问容器内的 Kafka 服务。
  • KAFKA_BROKER_ID:指定 broker 的唯一 ID,每个节点不能相同。
  • KAFKA_ZOOKEEPER_CONNECT:指向刚才启动的 Zookeeper 容器名称及端口,容器间通过名称可互相访问。
  • KAFKA_ADVERTISED_LISTENERS:对外暴露的连接地址,这里使用 localhost,根据实际情况修改。
  • KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR:副本因子,这里设置为 1,可按需调整。
  • 运行第二个 Kafka 容器(类似地修改 broker ID 等参数):
  • 按照上述方法可运行更多的 Kafka 容器来构建更大的集群,只需修改相应的 ID 和端口等参数。
bash 复制代码
docker run -d \

--name kafka-1 \

--network kafka-cluster-net \

-p 9093:9092 \

-e KAFKA_BROKER_ID=1 \

-e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \

-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9093 \

-e KAFKA_LISTENERS=PLAINTEXT://:9092 \

wurstmeister/kafka

5.检查是否运行

docker ps

docker network inspect kafka-cluster-net

检查网络以及容器运行状态

6.编写集群启动脚本

start_kafka_cluster.sh :

bash 复制代码
#!/bin/bash
docker start zookeeper
sleep 4
docker start kafka-0 kafka-1 
echo "Kafka cluster containers started successfully."

7.编写集群关闭脚本

stop_kafka_cluster.sh:

bash 复制代码
#!/bin/bash
docker stop kafka-0 kafka-1 zookeeper
echo "Kafka cluster containers stopped successfully."

8.进入容器检查

docker exec -it kafka-0 /bin/bash

cd /opt/kafka/ #切换到内部kafka目录

9.故障排查

如果在使用Docker过程中遇到任何错误, 可以命令:

docker logs 容器ID/容器名称

10、启动生产者

./kafka-console-producer.sh --broker-list localhost:9092 --topic [你的topic名称]

11.启动消费者

为了看到生产者和消费者之间的消息传递效果,这里需要另开一个终端,按照上面的方法进入容器对应目录,并执行以下命令:

./kafka-console-consumer.sh --bootstrap-server [你的IP地址]:9092 --topic [你的topic名称]

相关推荐
爱奥尼欧27 分钟前
【Linux 系统】基础IO——Linux中对文件的理解
linux·服务器·microsoft
真实的菜39 分钟前
Kafka生态整合深度解析:构建现代化数据架构的核心枢纽
架构·kafka·linq
戒不掉的伤怀1 小时前
【Navicat 连接MySQL时出现错误1251:客户端不支持服务器请求的身份验证协议;请考虑升级MySQL客户端】
服务器·数据库·mysql
超喜欢下雨天1 小时前
服务器安装 ros2时遇到底层库依赖冲突的问题
linux·运维·服务器·ros2
搬码临时工1 小时前
小企业如何搭建本地私有云服务器,并设置内部网络地址提供互联网访问
运维·服务器
old-six-programmer1 小时前
NAT 类型及 P2P 穿透
服务器·网络协议·webrtc·p2p·nat
tan77º2 小时前
【Linux网络编程】网络基础
linux·服务器·网络
风口上的吱吱鼠2 小时前
Armbian 25.5.1 Noble Gnome 开启远程桌面功能
服务器·ubuntu·armbian
IT成长日记3 小时前
【Docker基础】Docker数据卷管理:docker volume inspect及其参数详解
运维·docker·容器·volume·inspect
ladymorgana3 小时前
【Docker】如何设置 `wiredTigerCacheSizeGB` 和 `resources.limits.memory`
运维·docker·容器