保姆级教程Docker部署KRaft模式的Kafka官方镜像

大饼酥2025-02-08 15:05

目录

一、安装Docker及可视化工具

二、单节点部署

1、创建挂载目录

2、运行Kafka容器

3、Compose运行Kafka容器

4、查看Kafka运行状态

三、集群部署

四、部署可视化工具

1、创建挂载目录

2、运行Kafka-ui容器

3、Compose运行Kafka-ui容器

4、查看Kafka-ui运行状态

在Kafka2.8版本之前，Kafka是强依赖于Zookeeper中间件的，这本身就很不合理，中间件依赖另一个中间件，搭建起来实在麻烦。所幸Kafka2.8之后推出了KRaft模式，即**抛弃Zookeeper，**由Kafka节点自己做Controller来选举Leader。本篇文章内容就是介绍如何在Docker中搭建Kafka KRaft环境。

一、安装Docker及可视化工具

Docker及可视化工具的安装可参考：Ubuntu上安装 Docker及可视化管理工具

二、单节点部署

在进行单节点部署并以KRaft模式运行时，该节点通常是混合节点的类型

1、创建挂载目录

bash 复制代码 
# 创建宿主机kafka挂载目录
sudo mkdir -p /data/docker/kafka

2、运行Kafka容器

bash 复制代码 
# 拉取镜像
sudo docker pull apache/kafka:3.9.0
 
# 运行容器
sudo docker run --privileged=true \
--net=bridge \
-d --name=kafka \
-v /data/docker/kafka/data:/var/lib/kafka/data \
-v /data/docker/kafka/config:/mnt/shared/config \
-v /data/docker/kafka/secrets:/etc/kafka/secrets \
-p 9092:9092 -p 9093:9093 \
-e LANG=C.UTF-8 \
-e KAFKA_NODE_ID=1 \
-e CLUSTER_ID=kafka-cluster \
-e KAFKA_PROCESS_ROLES=broker,controller \
-e KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT \
-e KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \
-e KAFKA_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.3.9:9092 \
-e KAFKA_CONTROLLER_QUORUM_VOTERS=1@localhost:9093 \
apache/kafka:3.9.0

参数解析如下：

|-------------------------------------------------------------|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 参数 | 参数说明 |
| docker run | 运行 Docker 容器 |
| -d | 容器将在后台运行，而不是占用当前的终端会话 |
| --privileged=true | Docker会赋予容器几乎与宿主机相同的权限 |
| --net=bridge | 网络模式配置，默认是bridge，bridge表示使用容器内部配置网络 |
| --name kafka | 给容器命名为 kafka，以便于管理和引用该容器 |
| -p 9092:9092 -p 9093:9093 | 映射 kafka 的客户端通信端口和控制器端口 |
| -e KAFKA_NODE_ID=1 | 节点ID，用于标识每个集群中的节点，需要是不小于1的整数，同一个集群中的节点ID不可重复 |
| -e CLUSTER_ID=kafka-cluster | 集群ID，可以自定义任何字符串作为集群ID，同一个集群中所有节点的集群ID必须配置为一样 |
| -e KAFKA_PROCESS_ROLES=broker,controller | 节点类型，broker,controller表示该节点是混合节点，通常单机部署时需要配置为混合节点 |
| -e KAFKA_INTER_BROKER_LISTENER_NAME= PLAINTEXT | Kafka的Broker地址前缀名称，固定为PLAINTEXT即可 |
| -e KAFKA_CONTROLLER_LISTENER_NAMES= CONTROLLER | Kafka的Controller地址前缀名称，固定为CONTROLLER即可 |
| -e KAFKA_LISTENERS= PLAINTEXT://:9092,CONTROLLER://:9093 | 表示Kafka要监听哪些端口，PLAINTEXT://:9092,CONTROLLER://:9093表示本节点作为混合节点，监听本机所有可用网卡的9092和9093端口，其中9092作为客户端通信端口，9093作为控制器端口 |
| -e KAFKA_ADVERTISED_LISTENERS= PLAINTEXT://192.168.3.9:9092 | 配置Kafka的外网地址，需要是PLAINTEXT://外网地址:端口的形式，当客户端连接Kafka服务端时，Kafka会将这个外网地址广播给客户端，然后客户端再通过这个外网地址连接，除此之外集群之间交换数据时也是通过这个配置项得到集群中每个节点的地址的，这样集群中节点才能进行交互。需要修改为对应的Kafka的外网地址。 |
| -e KAFKA_CONTROLLER_QUORUM_VOTERS= 1@localhost:9093 | 投票节点列表，通常配置为集群中所有的Controller节点，格式为节点id@节点外网地址:节点Controller端口，多个节点使用逗号,隔开，由于是混合节点，因此配置自己就行了 |
| -v /data/docker/kafka/data:/var/lib/kafka/data | 持久化数据文件夹，如果运行出现问题可以清空该数据卷文件重启再试 |
| -v /data/docker/kafka/config:/mnt/shared/config | 持久化配置文件目录 |
| -v /data/docker/kafka/secrets:/etc/kafka/secrets | 持久化秘钥相关文件夹 |

容器运行参数详解参考：Docker容器运行常用参数详解-CSDN博客

3、Compose运行Kafka容器

创建docker-compose.yml文件

bash 复制代码 
sudo touch /data/docker/kafka/docker-compose.yml

文件内容如下：

bash 复制代码 
version: '3'
 
services:
  kafka:
    image: apache/kafka:3.9.0
    container_name: kafka
    ports:
      - "9092:9092"
      - "9093:9093"
    environment:
      - LANG=C.UTF-8
      - KAFKA_NODE_ID=1
      - CLUSTER_ID=kafka-cluster
      - KAFKA_PROCESS_ROLES=broker,controller
      - KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT
      - KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER
      - KAFKA_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093
      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.3.9:9092
      - KAFKA_CONTROLLER_QUORUM_VOTERS=1@localhost:9093
    volumes:
      - /data/docker/kafka/data:/var/lib/kafka/data
      - /data/docker/kafka/config:/mnt/shared/config
      - /data/docker/kafka/secrets:/etc/kafka/secrets
    privileged: true
    network_mode: "bridge"

运行容器

bash 复制代码 
#-f:调用文件,-d:开启守护进程
sudo docker compose -f /data/docker/kafka/docker-compose.yml up -d

4、查看Kafka运行状态

三、集群部署

采用Broker + Controller集群，这是推荐的生产环境的集群部署方式，集群中不存在混合节点，每个节点要么是Broker类型，要么是Controller类型。

通过下列命令在服务器上部署：

bash 复制代码 
# 定义域名
# 这是fish shell的变量定义语法
# 使用bash请替换为：kafka_host="192.168.3.9"
set kafka_host "192.168.3.9"

# 节点1-Controller
sudo docker run -id --privileged=true \
    --net=bridge --name=kafka-1 \
	-p 10001:9093 \
	-v /data/docker/kafka-1/config:/mnt/shared/config \
	-v /data/docker/kafka-1/data:/var/lib/kafka/data \
	-v /data/docker/kafka-1/secrets:/etc/kafka/secrets \
	-e LANG=C.UTF-8 \
	-e KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT \
	-e KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \
	-e CLUSTER_ID=kafka-cluster \
	-e KAFKA_NODE_ID=1 \
	-e KAFKA_PROCESS_ROLES=controller \
	-e KAFKA_CONTROLLER_QUORUM_VOTERS="1@$kafka_host:10001" \
	-e KAFKA_LISTENERS="CONTROLLER://:9093" \
	apache/kafka:3.9.0

# 节点2-Broker
sudo docker run -id --privileged=true \
    --net=bridge --name=kafka-2 \
	-p 9002:9092 \
	-v /data/docker/kafka-2/config:/mnt/shared/config \
	-v /data/docker/kafka-2/data:/var/lib/kafka/data \
	-v /data/docker/kafka-2/secrets:/etc/kafka/secrets \
	-e LANG=C.UTF-8 \
	-e KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT \
	-e KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \
	-e CLUSTER_ID=kafka-cluster \
	-e KAFKA_NODE_ID=2 \
	-e KAFKA_PROCESS_ROLES=broker \
	-e KAFKA_CONTROLLER_QUORUM_VOTERS="1@$kafka_host:10001" \
	-e KAFKA_LISTENERS="PLAINTEXT://:9092" \
	-e KAFKA_ADVERTISED_LISTENERS="PLAINTEXT://$kafka_host:9002" \
	apache/kafka:3.9.0

# 节点3-Broker
sudo docker run -id --privileged=true \
    --net=bridge --name=kafka-3 \
	-p 9003:9092 \
    -v /data/docker/kafka-3/config:/mnt/shared/config \
	-v /data/docker/kafka-3/data:/var/lib/kafka/data \
	-v /data/docker/kafka-3/secrets:/etc/kafka/secrets \
	-e LANG=C.UTF-8 \
	-e KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT \
	-e KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \
	-e CLUSTER_ID=kafka-cluster \
	-e KAFKA_NODE_ID=3 \
	-e KAFKA_PROCESS_ROLES=broker \
	-e KAFKA_CONTROLLER_QUORUM_VOTERS="1@$kafka_host:10001" \
	-e KAFKA_LISTENERS="PLAINTEXT://:9092" \
	-e KAFKA_ADVERTISED_LISTENERS="PLAINTEXT://$kafka_host:9003" \
	apache/kafka:3.9.0

这样，我们就部署了一个由1个Controller节点和2个Broker节点构成的集群，需要注意的是：

  • Broker节点无需暴露9093端口，Controller节点无需暴露9092端口
  • Broker节点需指定KAFKA_PROCESS_ROLES为broker，同样的Controller需要指定为controller
  • KAFKA_CONTROLLER_QUORUM_VOTERS配置只需要写集群中所有的Controller节点的地址端口列表
  • 对于KAFKA_LISTENERS配置项：Broker节点需要配置为PLAINTEXT://:9092，表示本节点作为Broker节点；Controller节点需要配置为CONTROLLER://:9093，表示本节点作为Controller节点
  • 对于KAFKA_ADVERTISED_LISTENERS配置项：Controller节点不能指定该配置；Broker节点需要指定为自己的外网地址和端口

四、部署可视化工具

在早期使用Kafka时，通常会选择Kafka Tool或Kafka Eagle进行管理。Kafka Tool是一款桌面应用程序，而Kafka Eagle则基于浏览器运行。尽管这两款工具在用户体验上表现平平，但它们基本能满足日常需求。

然而，自Kafka 3.3.1版本起，Kafka正式弃用了Zookeeper ，转而采用自有的仲裁机制，即kraft模式。遗憾的是，上述两款工具似乎未能及时跟进这一更新，仍然要求用户输入Zookeeper地址才能连接，导致它们在新版本Kafka中无法正常使用。为了解决这一问题，我发现了一款轻量且易于使用的替代工具------kafka-ui，它能够更好地适配新版Kafka。

1、创建挂载目录

bash 复制代码 
# 创建宿主机kafka-ui挂载目录
sudo mkdir -p /data/docker/kafka-ui/config

# 创建挂载的配置文件
sudo touch /data/docker/kafka-ui/config/dynamic_config.yaml

2、运行Kafka-ui容器

bash 复制代码 
# 拉取镜像
sudo docker pull provectuslabs/kafka-ui:v0.7.2
 
# 运行容器
sudo docker run --privileged=true \
--net=bridge \
-d --name=kafka-ui \
-p 18080:8080 \
-v /data/docker/kafka-ui/config/dynamic_config.yaml:/etc/kafkaui/dynamic_config.yaml
-e KAFKA_CLUSTERS_0_NAME=kafka-cluster \
-e KAFKA_CLUSTERS_0_BOOTSTRAP_SERVERS=192.168.3.9:9092 \
-e SERVER_SERVLET_CONTEXT_PATH=/ \
-e AUTH_TYPE=LOGIN_FORM \
-e SPRING_SECURITY_USER_NAME=admin \
-e SPRING_SECURITY_USER_PASSWORD=admin \
-e TZ=Asia/Shanghai \
-e LANG=C.UTF-8 \
provectuslabs/kafka-ui:v0.7.2

参数解析如下：

|---------------------------------------------------------------------------------------|------------------------------------------------------------------------|
| 参数 | 参数说明 |
| docker run | 运行 Docker 容器 |
| -d | 容器将在后台运行，而不是占用当前的终端会话 |
| --privileged=true | Docker会赋予容器几乎与宿主机相同的权限 |
| --net=bridge | 网络模式配置，默认是bridge，bridge表示使用容器内部配置网络 |
| --name kafka-ui | 给容器命名为 kafka-ui，以便于管理和引用该容器 |
| -p 18080:8080 | 映射 kafka-ui 的web端口 |
| -v /data/docker/kafka-ui/config/dynamic_config.yaml: /etc/kafkaui/dynamic_config.yaml | 挂载配置文件，确保config/dynamic_config.yaml文件存在 |
| -e SERVER_SERVLET_CONTEXT_PATH=/ | 默认kafka-ui是免登录的，为了防止所有人都可以登录产生误操作问题，在docker部署的时候可以添加如下四个环境变量配置用户的登录密码。 |
| -e AUTH_TYPE=LOGIN_FORM | 默认kafka-ui是免登录的，为了防止所有人都可以登录产生误操作问题，在docker部署的时候可以添加如下四个环境变量配置用户的登录密码。 |
| -e SPRING_SECURITY_USER_NAME=admin | 默认kafka-ui是免登录的，为了防止所有人都可以登录产生误操作问题，在docker部署的时候可以添加如下四个环境变量配置用户的登录密码。 |
| -e SPRING_SECURITY_USER_PASSWORD=admin | 默认kafka-ui是免登录的，为了防止所有人都可以登录产生误操作问题，在docker部署的时候可以添加如下四个环境变量配置用户的登录密码。 |
| -e KAFKA_CLUSTERS_0_NAME=kafka-cluster | 自定义集群名称 |
| -e KAFKA_CLUSTERS_0_BOOTSTRAP_SERVERS= 192.168.3.9:9092 | 集群地址，如有多个地址逗号分隔；需要修改为对应的Kafka的外网地址。 |

3、Compose运行Kafka-ui容器

创建docker-compose.yml文件

bash 复制代码 
sudo touch /data/docker/kafka-ui/docker-compose.yml

文件内容如下：

bash 复制代码 
version: '3'
 
services:
  kafka:
    image: provectuslabs/kafka-ui:v0.7.2
    container_name: kafka-ui
    ports:
      - "18080:8080"
    environment:
      - TZ=Asia/Shanghai
      - LANG=C.UTF-8
      - DYNAMIC_CONFIG_ENABLED=true
      - KAFKA_CLUSTERS_0_NAME=kafka-cluster
      - KAFKA_CLUSTERS_0_BOOTSTRAP_SERVERS=192.168.3.9:9092
      - SERVER_SERVLET_CONTEXT_PATH=/
      - AUTH_TYPE=LOGIN_FORM
      - SPRING_SECURITY_USER_NAME=admin
      - SPRING_SECURITY_USER_PASSWORD=admin
    volumes:
      - /data/docker/kafka-ui/config/dynamic_config.yaml:/etc/kafkaui/dynamic_config.yaml
    privileged: true
    network_mode: "bridge"

运行容器

bash 复制代码 
#-f:调用文件,-d:开启守护进程
sudo docker compose -f /data/docker/kafka-ui/docker-compose.yml up -d

4、查看Kafka-ui运行状态

http://192.168.3.9:18080/auth

账号和密码 都是admin

相关推荐
千羽星弦1 小时前
kafka zookeeper 集群搭建
kafka
追风林1 小时前
mac 本地 docker 安装 kafka
macos·docker·kafka
奔跑中的小象2 小时前
低版本 Linux 系统通过二进制方式升级部署高版本 Docker
linux·docker
最数据2 小时前
收集了一些docker修改镜像源地址
docker·容器·镜像源·国内源地址
云上艺旅3 小时前
K8S学习之基础二十四：k8s的持久化存储之pv和pvc
学习·云原生·容器·kubernetes
人间凡尔赛4 小时前
VSCode-Server 在 Linux 容器中的手动安装指南
linux·运维·服务器·docker
Sans_4 小时前
初识Docker-Compose(包含示例)
后端·docker·容器
Java程序之猿4 小时前
Centos 安装docker,docker-compose
linux·docker·centos
austin流川枫4 小时前
Kafka如何配置确保dev开发不要消费test环境的消息
kafka
TechStack 创行者5 小时前
Docker+Flask 实战：打造高并发微服务架构
运维·docker·微服务·容器·架构
热门推荐
01如何在WPS和Word/Excel中直接使用DeepSeek功能02DeepSeek各版本说明与优缺点分析03本地部署DeepSeek教程（Mac版本）04从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑05如何本地部署AI智能体平台，带你手搓一个AI Agent06DeepSeek R1本地化部署 Ollama + Chatbox 打造最强 AI 工具07DeepSeek RAGFlow构建本地知识库系统08Windows 11 安装 Dify 完整指南 非docker环境09本地化部署AI知识库：基于Ollama+DeepSeek+AnythingLLM保姆级教程10组基轨迹建模 GBTM的介绍与实现（Stata 或 R）