保姆级教程Docker部署KRaft模式的Kafka官方镜像

大饼酥2025-02-08 15:05

目录

一、安装Docker及可视化工具

二、单节点部署

1、创建挂载目录

2、运行Kafka容器

3、Compose运行Kafka容器

4、查看Kafka运行状态

三、集群部署

四、部署可视化工具

1、创建挂载目录

2、运行Kafka-ui容器

3、Compose运行Kafka-ui容器

4、查看Kafka-ui运行状态

在Kafka2.8版本之前，Kafka是强依赖于Zookeeper中间件的，这本身就很不合理，中间件依赖另一个中间件，搭建起来实在麻烦。所幸Kafka2.8之后推出了KRaft模式，即**抛弃Zookeeper，**由Kafka节点自己做Controller来选举Leader。本篇文章内容就是介绍如何在Docker中搭建Kafka KRaft环境。

一、安装Docker及可视化工具

Docker及可视化工具的安装可参考：Ubuntu上安装 Docker及可视化管理工具

二、单节点部署

在进行单节点部署并以KRaft模式运行时，该节点通常是混合节点的类型

1、创建挂载目录

bash 复制代码 
# 创建宿主机kafka挂载目录
sudo mkdir -p /data/docker/kafka

2、运行Kafka容器

bash 复制代码 
# 拉取镜像
sudo docker pull apache/kafka:3.9.0
 
# 运行容器
sudo docker run --privileged=true \
--net=bridge \
-d --name=kafka \
-v /data/docker/kafka/data:/var/lib/kafka/data \
-v /data/docker/kafka/config:/mnt/shared/config \
-v /data/docker/kafka/secrets:/etc/kafka/secrets \
-p 9092:9092 -p 9093:9093 \
-e LANG=C.UTF-8 \
-e KAFKA_NODE_ID=1 \
-e CLUSTER_ID=kafka-cluster \
-e KAFKA_PROCESS_ROLES=broker,controller \
-e KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT \
-e KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \
-e KAFKA_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.3.9:9092 \
-e KAFKA_CONTROLLER_QUORUM_VOTERS=1@localhost:9093 \
apache/kafka:3.9.0

参数解析如下：

|-------------------------------------------------------------|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 参数 | 参数说明 |
| docker run | 运行 Docker 容器 |
| -d | 容器将在后台运行，而不是占用当前的终端会话 |
| --privileged=true | Docker会赋予容器几乎与宿主机相同的权限 |
| --net=bridge | 网络模式配置，默认是bridge，bridge表示使用容器内部配置网络 |
| --name kafka | 给容器命名为 kafka，以便于管理和引用该容器 |
| -p 9092:9092 -p 9093:9093 | 映射 kafka 的客户端通信端口和控制器端口 |
| -e KAFKA_NODE_ID=1 | 节点ID，用于标识每个集群中的节点，需要是不小于1的整数，同一个集群中的节点ID不可重复 |
| -e CLUSTER_ID=kafka-cluster | 集群ID，可以自定义任何字符串作为集群ID，同一个集群中所有节点的集群ID必须配置为一样 |
| -e KAFKA_PROCESS_ROLES=broker,controller | 节点类型，broker,controller表示该节点是混合节点，通常单机部署时需要配置为混合节点 |
| -e KAFKA_INTER_BROKER_LISTENER_NAME= PLAINTEXT | Kafka的Broker地址前缀名称，固定为PLAINTEXT即可 |
| -e KAFKA_CONTROLLER_LISTENER_NAMES= CONTROLLER | Kafka的Controller地址前缀名称，固定为CONTROLLER即可 |
| -e KAFKA_LISTENERS= PLAINTEXT://:9092,CONTROLLER://:9093 | 表示Kafka要监听哪些端口，PLAINTEXT://:9092,CONTROLLER://:9093表示本节点作为混合节点，监听本机所有可用网卡的9092和9093端口，其中9092作为客户端通信端口，9093作为控制器端口 |
| -e KAFKA_ADVERTISED_LISTENERS= PLAINTEXT://192.168.3.9:9092 | 配置Kafka的外网地址，需要是PLAINTEXT://外网地址:端口的形式，当客户端连接Kafka服务端时，Kafka会将这个外网地址广播给客户端，然后客户端再通过这个外网地址连接，除此之外集群之间交换数据时也是通过这个配置项得到集群中每个节点的地址的，这样集群中节点才能进行交互。需要修改为对应的Kafka的外网地址。 |
| -e KAFKA_CONTROLLER_QUORUM_VOTERS= 1@localhost:9093 | 投票节点列表，通常配置为集群中所有的Controller节点，格式为节点id@节点外网地址:节点Controller端口，多个节点使用逗号,隔开，由于是混合节点，因此配置自己就行了 |
| -v /data/docker/kafka/data:/var/lib/kafka/data | 持久化数据文件夹，如果运行出现问题可以清空该数据卷文件重启再试 |
| -v /data/docker/kafka/config:/mnt/shared/config | 持久化配置文件目录 |
| -v /data/docker/kafka/secrets:/etc/kafka/secrets | 持久化秘钥相关文件夹 |

容器运行参数详解参考：Docker容器运行常用参数详解-CSDN博客

3、Compose运行Kafka容器

创建docker-compose.yml文件

bash 复制代码 
sudo touch /data/docker/kafka/docker-compose.yml

文件内容如下：

bash 复制代码 
version: '3'
 
services:
  kafka:
    image: apache/kafka:3.9.0
    container_name: kafka
    ports:
      - "9092:9092"
      - "9093:9093"
    environment:
      - LANG=C.UTF-8
      - KAFKA_NODE_ID=1
      - CLUSTER_ID=kafka-cluster
      - KAFKA_PROCESS_ROLES=broker,controller
      - KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT
      - KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER
      - KAFKA_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093
      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.3.9:9092
      - KAFKA_CONTROLLER_QUORUM_VOTERS=1@localhost:9093
    volumes:
      - /data/docker/kafka/data:/var/lib/kafka/data
      - /data/docker/kafka/config:/mnt/shared/config
      - /data/docker/kafka/secrets:/etc/kafka/secrets
    privileged: true
    network_mode: "bridge"

运行容器

bash 复制代码 
#-f:调用文件,-d:开启守护进程
sudo docker compose -f /data/docker/kafka/docker-compose.yml up -d

4、查看Kafka运行状态

三、集群部署

采用Broker + Controller集群，这是推荐的生产环境的集群部署方式，集群中不存在混合节点，每个节点要么是Broker类型，要么是Controller类型。

通过下列命令在服务器上部署：

bash 复制代码 
# 定义域名
# 这是fish shell的变量定义语法
# 使用bash请替换为：kafka_host="192.168.3.9"
set kafka_host "192.168.3.9"

# 节点1-Controller
sudo docker run -id --privileged=true \
    --net=bridge --name=kafka-1 \
	-p 10001:9093 \
	-v /data/docker/kafka-1/config:/mnt/shared/config \
	-v /data/docker/kafka-1/data:/var/lib/kafka/data \
	-v /data/docker/kafka-1/secrets:/etc/kafka/secrets \
	-e LANG=C.UTF-8 \
	-e KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT \
	-e KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \
	-e CLUSTER_ID=kafka-cluster \
	-e KAFKA_NODE_ID=1 \
	-e KAFKA_PROCESS_ROLES=controller \
	-e KAFKA_CONTROLLER_QUORUM_VOTERS="1@$kafka_host:10001" \
	-e KAFKA_LISTENERS="CONTROLLER://:9093" \
	apache/kafka:3.9.0

# 节点2-Broker
sudo docker run -id --privileged=true \
    --net=bridge --name=kafka-2 \
	-p 9002:9092 \
	-v /data/docker/kafka-2/config:/mnt/shared/config \
	-v /data/docker/kafka-2/data:/var/lib/kafka/data \
	-v /data/docker/kafka-2/secrets:/etc/kafka/secrets \
	-e LANG=C.UTF-8 \
	-e KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT \
	-e KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \
	-e CLUSTER_ID=kafka-cluster \
	-e KAFKA_NODE_ID=2 \
	-e KAFKA_PROCESS_ROLES=broker \
	-e KAFKA_CONTROLLER_QUORUM_VOTERS="1@$kafka_host:10001" \
	-e KAFKA_LISTENERS="PLAINTEXT://:9092" \
	-e KAFKA_ADVERTISED_LISTENERS="PLAINTEXT://$kafka_host:9002" \
	apache/kafka:3.9.0

# 节点3-Broker
sudo docker run -id --privileged=true \
    --net=bridge --name=kafka-3 \
	-p 9003:9092 \
    -v /data/docker/kafka-3/config:/mnt/shared/config \
	-v /data/docker/kafka-3/data:/var/lib/kafka/data \
	-v /data/docker/kafka-3/secrets:/etc/kafka/secrets \
	-e LANG=C.UTF-8 \
	-e KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT \
	-e KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \
	-e CLUSTER_ID=kafka-cluster \
	-e KAFKA_NODE_ID=3 \
	-e KAFKA_PROCESS_ROLES=broker \
	-e KAFKA_CONTROLLER_QUORUM_VOTERS="1@$kafka_host:10001" \
	-e KAFKA_LISTENERS="PLAINTEXT://:9092" \
	-e KAFKA_ADVERTISED_LISTENERS="PLAINTEXT://$kafka_host:9003" \
	apache/kafka:3.9.0

这样，我们就部署了一个由1个Controller节点和2个Broker节点构成的集群，需要注意的是：

  • Broker节点无需暴露9093端口，Controller节点无需暴露9092端口
  • Broker节点需指定KAFKA_PROCESS_ROLES为broker，同样的Controller需要指定为controller
  • KAFKA_CONTROLLER_QUORUM_VOTERS配置只需要写集群中所有的Controller节点的地址端口列表
  • 对于KAFKA_LISTENERS配置项：Broker节点需要配置为PLAINTEXT://:9092，表示本节点作为Broker节点；Controller节点需要配置为CONTROLLER://:9093，表示本节点作为Controller节点
  • 对于KAFKA_ADVERTISED_LISTENERS配置项：Controller节点不能指定该配置；Broker节点需要指定为自己的外网地址和端口

四、部署可视化工具

在早期使用Kafka时，通常会选择Kafka Tool或Kafka Eagle进行管理。Kafka Tool是一款桌面应用程序，而Kafka Eagle则基于浏览器运行。尽管这两款工具在用户体验上表现平平，但它们基本能满足日常需求。

然而，自Kafka 3.3.1版本起，Kafka正式弃用了Zookeeper ，转而采用自有的仲裁机制，即kraft模式。遗憾的是，上述两款工具似乎未能及时跟进这一更新，仍然要求用户输入Zookeeper地址才能连接，导致它们在新版本Kafka中无法正常使用。为了解决这一问题，我发现了一款轻量且易于使用的替代工具------kafka-ui，它能够更好地适配新版Kafka。

1、创建挂载目录

bash 复制代码 
# 创建宿主机kafka-ui挂载目录
sudo mkdir -p /data/docker/kafka-ui/config

# 创建挂载的配置文件
sudo touch /data/docker/kafka-ui/config/dynamic_config.yaml

2、运行Kafka-ui容器

bash 复制代码 
# 拉取镜像
sudo docker pull provectuslabs/kafka-ui:v0.7.2
 
# 运行容器
sudo docker run --privileged=true \
--net=bridge \
-d --name=kafka-ui \
-p 18080:8080 \
-v /data/docker/kafka-ui/config/dynamic_config.yaml:/etc/kafkaui/dynamic_config.yaml
-e KAFKA_CLUSTERS_0_NAME=kafka-cluster \
-e KAFKA_CLUSTERS_0_BOOTSTRAP_SERVERS=192.168.3.9:9092 \
-e SERVER_SERVLET_CONTEXT_PATH=/ \
-e AUTH_TYPE=LOGIN_FORM \
-e SPRING_SECURITY_USER_NAME=admin \
-e SPRING_SECURITY_USER_PASSWORD=admin \
-e TZ=Asia/Shanghai \
-e LANG=C.UTF-8 \
provectuslabs/kafka-ui:v0.7.2

参数解析如下：

|---------------------------------------------------------------------------------------|------------------------------------------------------------------------|
| 参数 | 参数说明 |
| docker run | 运行 Docker 容器 |
| -d | 容器将在后台运行，而不是占用当前的终端会话 |
| --privileged=true | Docker会赋予容器几乎与宿主机相同的权限 |
| --net=bridge | 网络模式配置，默认是bridge，bridge表示使用容器内部配置网络 |
| --name kafka-ui | 给容器命名为 kafka-ui，以便于管理和引用该容器 |
| -p 18080:8080 | 映射 kafka-ui 的web端口 |
| -v /data/docker/kafka-ui/config/dynamic_config.yaml: /etc/kafkaui/dynamic_config.yaml | 挂载配置文件，确保config/dynamic_config.yaml文件存在 |
| -e SERVER_SERVLET_CONTEXT_PATH=/ | 默认kafka-ui是免登录的，为了防止所有人都可以登录产生误操作问题，在docker部署的时候可以添加如下四个环境变量配置用户的登录密码。 |
| -e AUTH_TYPE=LOGIN_FORM | 默认kafka-ui是免登录的，为了防止所有人都可以登录产生误操作问题，在docker部署的时候可以添加如下四个环境变量配置用户的登录密码。 |
| -e SPRING_SECURITY_USER_NAME=admin | 默认kafka-ui是免登录的，为了防止所有人都可以登录产生误操作问题，在docker部署的时候可以添加如下四个环境变量配置用户的登录密码。 |
| -e SPRING_SECURITY_USER_PASSWORD=admin | 默认kafka-ui是免登录的，为了防止所有人都可以登录产生误操作问题，在docker部署的时候可以添加如下四个环境变量配置用户的登录密码。 |
| -e KAFKA_CLUSTERS_0_NAME=kafka-cluster | 自定义集群名称 |
| -e KAFKA_CLUSTERS_0_BOOTSTRAP_SERVERS= 192.168.3.9:9092 | 集群地址，如有多个地址逗号分隔；需要修改为对应的Kafka的外网地址。 |

3、Compose运行Kafka-ui容器

创建docker-compose.yml文件

bash 复制代码 
sudo touch /data/docker/kafka-ui/docker-compose.yml

文件内容如下：

bash 复制代码 
version: '3'
 
services:
  kafka:
    image: provectuslabs/kafka-ui:v0.7.2
    container_name: kafka-ui
    ports:
      - "18080:8080"
    environment:
      - TZ=Asia/Shanghai
      - LANG=C.UTF-8
      - DYNAMIC_CONFIG_ENABLED=true
      - KAFKA_CLUSTERS_0_NAME=kafka-cluster
      - KAFKA_CLUSTERS_0_BOOTSTRAP_SERVERS=192.168.3.9:9092
      - SERVER_SERVLET_CONTEXT_PATH=/
      - AUTH_TYPE=LOGIN_FORM
      - SPRING_SECURITY_USER_NAME=admin
      - SPRING_SECURITY_USER_PASSWORD=admin
    volumes:
      - /data/docker/kafka-ui/config/dynamic_config.yaml:/etc/kafkaui/dynamic_config.yaml
    privileged: true
    network_mode: "bridge"

运行容器

bash 复制代码 
#-f:调用文件,-d:开启守护进程
sudo docker compose -f /data/docker/kafka-ui/docker-compose.yml up -d

4、查看Kafka-ui运行状态

http://192.168.3.9:18080/auth

账号和密码 都是admin

相关推荐
狂爱代码的码农1 小时前
docker的卷映射如何手动指定位置
docker·容器
枫叶20001 小时前
Windows Docker笔记-制作、加载镜像
windows·笔记·docker
Jamence2 小时前
docker启动报错code=exited, status=1/FAILURE——问题排查
docker·容器·eureka
狂爱代码的码农2 小时前
docker被“遗忘”的那些参数该如何拯救
容器
梁萌3 小时前
02DevOps基础环境准备
docker·devops·ci·cd
小锋学长生活大爆炸4 小时前
【教程】docker升级镜像
java·docker·容器·镜像
狂爱代码的码农4 小时前
docker常用命令及案例
容器
爱学习的白杨树4 小时前
什么是Kafka？
分布式·kafka
黑夜无路人4 小时前
kafka服务端之延时操作前传--时间轮
分布式·kafka
热门推荐
01如何在WPS和Word/Excel中直接使用DeepSeek功能02DeepSeek本地部署详细指南03DeepSeek r1本地安装全指南04DeepSeek各版本说明与优缺点分析05Ollama 安装教程：轻松开启本地大语言模型之旅06将DeepSeek接入Word，打造AI办公助手07DeepSeek R1本地化部署 Ollama + Chatbox 打造最强 AI 工具08在Windows下安装Ollama并体验DeepSeek r1大模型09【deepseek】deepseek-r1本地部署-第一步：下载LM Studio10保姆级教程：利用Ollama与Open-WebUI本地部署 DeedSeek-R1大模型