Kafka 3.9.1的KRaft模式部署

一、核心架构与角色

1. KRaft 模式特点
   • 去中心化：移除 ZooKeeper，元数据由 Kafka 集群内部管理。
   • Raft 协议：通过 Raft 实现元数据一致性，控制器（Controller）节点组成仲裁（Quorum）处理元数据变更。
   • 角色分离：Broker 负责消息存储，Controller 负责元数据管理，两者可独立部署或合并运行（Combined 模式）。
2. 节点类型
   • Broker：存储消息数据，处理生产/消费请求。
   • Controller：管理元数据（如 Topic、分区、副本状态），参与 Raft 选举。
   • Combined 模式：单节点同时运行 Broker 和 Controller（适用于开发环境，生产环境不推荐）。

二、关键配置参数

以下配置需在 server.properties 文件中设置：

参数	说明	示例值
process.roles	节点角色，可选 broker、controller 或两者组合（如 broker,controller）。	broker,controller（生产环境推荐分离部署）
node.id	节点唯一标识，需在集群内唯一。	1（Controller 节点）、2（Broker 节点）
controller.quorum.voters	Controller 仲裁列表，格式为 {id}@{host}:{port}。	1@controller1:9093,2@controller2:9093,3@controller3:9093
listeners	监听地址，需包含 PLAINTEXT（Broker）和 CONTROLLER（内部通信）。	PLAINTEXT://:9092,CONTROLLER://:9093
advertised.listeners	对外暴露的 Broker 地址（客户端连接地址）。	PLAINTEXT://192.168.1.100:9092
controller.listener.names	Controller 监听器名称（固定为 CONTROLLER）。	CONTROLLER
log.dirs	数据存储目录（建议独立磁盘）。	/data/kafka/logs
inter.broker.listener.name	Broker 间通信使用的监听器名称（需与 listeners 一致）。	PLAINTEXT

单机本地KRaft模式完整示例

broker.id=0
listeners=PLAINTEXT://localhost:9092,CONTROLLER://0.0.0.0:9093
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT

process.roles=broker,controller
controller.quorum.voters=0@localhost:9093
# controller.quorum.voting.mode=round-robin
controller.listener.names=CONTROLLER


advertised.listeners=PLAINTEXT://localhost:9092

三、配置步骤

1. 生成集群 ID

   使用 kafka-storage.sh 工具生成唯一集群 ID：

   bin/kafka-storage.sh random-uuid

   输出示例：4hU1sxPUQG-4qqqgZQxFZA（需记录并用于后续格式化）。

2. 格式化存储目录

   在所有节点上执行格式化，指定集群 ID 和配置文件：

   bin/kafka-storage.sh format -t <CLUSTER_ID> -c config/kraft/server.properties

3. 启动服务

   • 单节点（Combined 模式） ：

     bin/kafka-server-start.sh config/kraft/server.properties

   • 多节点集群 ：
     按角色分别启动 Controller 和 Broker 服务（建议使用 systemd 管理进程）。

4. 验证集群状态

   • 检查 Broker 列表：

     bin/kafka-broker-api-versions.sh --bootstrap-server <BROKER_IP>:9092

   • 查看 Controller 状态：

     bin/kafka-metadata-quorum.sh describe --bootstrap-server <BROKER_IP>:9092

四、生产环境最佳实践

1. Controller 节点配置
   • 数量 ：建议 3 或 5 个节点（奇数），容忍 (n-1)/2 个节点故障。
   • 资源隔离：与 Broker 分离部署，避免资源竞争。
   • 网络优化：使用低延迟、高带宽网络（如万兆网卡）。
2. Broker 节点配置
   • 副本数 ：default.replication.factor=3（兼顾可用性与存储成本）。
   • 消息压缩 ：启用 compression.type=lz4 或 zstd 减少网络开销。
   • JVM 调优 ：设置 KAFKA_HEAP_OPTS="-Xmx8G -Xms8G"，启用 G1 垃圾回收器。
3. 监控与运维
   • 关键指标：Controller 选举耗时、元数据复制延迟、Broker 磁盘 I/O。
   • 日志管理 ：定期清理旧日志（log.retention.hours=168）。

五、常见问题解决

1. No security protocol defined for listener CONTROLLER

   • 原因 ：未配置 CONTROLLER 监听器的安全协议。

   • 解决 ：在 server.properties 中添加：

     listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT

2. 客户端连接失败

   • 检查项 ：
     • advertised.listeners 是否为客户端可访问的 IP 或域名。
     • 防火墙是否开放 9092（Broker）和 9093（Controller）端口。

3. 元数据不一致

   • 场景：Controller 选举失败或网络分区。
   • 处理 ：检查 kafka-metadata-quorum.sh 输出，确认 Leader 和 Voters 状态。