生产环境kafka升级过程

Kafka 升级指南：从旧版本到3.8.0的详细步骤及注意事项

背景

Kafka 是一个分布式流处理平台，广泛应用于大数据领域。随着技术的发展，不断更新和升级 Kafka 版本可以带来更好的性能、更高的稳定性和更多的功能。本文档将指导您如何将现有的 Kafka 集群从旧版本升级到 Kafka 3.8.0，并确保集群的顺利运行。

步骤详解

1. 停止当前 Kafka 服务

首先，确保所有 Kafka 服务已经停止。这可以通过以下命令实现：

# 停止 Kafka 服务
./kafka-server-stop.sh

2. 解压新版本 Kafka

将下载好的 Kafka 包解压到指定目录：

tar -zxvf kafka_2.12-3.8.0.tgz -C /u01/

3. 修改 Kafka 启动脚本

编辑 Kafka 启动脚本，设置合适的堆内存大小和 JMX 监控端口：

# 编辑 Kafka 启动脚本
vim /u01/kafka_2.12-3.8.0/bin/kafka-server-start.sh

在文件中添加以下内容：

export KAFKA_HEAP_OPTS="-Xmx6G -Xms6G"
export JMX_PORT="9999"

4. 修改 Kafka 配置文件

将原有的配置文件复制到新的 Kafka 目录，并修改数据目录路径和协议版本：

# 复制配置文件
cp /u01/kafka/config/server.properties /u01/kafka_2.12-3.8.0/config/

# 编辑配置文件
vim /u01/kafka_2.12-3.8.0/config/server.properties

在文件中添加或修改以下内容：

log.dirs=/u01/kafka/data
inter.broker.protocol.version=2.6

5. 复制启动脚本

复制原有的启动脚本到新的 Kafka 目录：

cp /u01/kafka/startkafka.sh /u01/kafka_2.12-3.8.0/

6. 移动数据文件

移动原有的日志文件到新的 Kafka 数据目录：

mv /u01/kafka/logs /u01/kafka_2.12-3.8.0/data

删除旧版本的日志文件：

rm /u01/kafka/logs/*.log

7. 更改目录名

更改旧版本和新版本的目录名称：

mv /u01/kafka /u01/kafka-bak
mv /u01/kafka_2.12-3.8.0 /u01/kafka

8. 启动新版本 Kafka

启动新版本的 Kafka，并观察日志输出：

# 启动 Kafka
./kafka-server-start.sh -daemon config/server.properties

# 查看日志
tail -f /u01/kafka/logs/kafkaServer.out

9. 检查 Kafka 版本

确认 Kafka 版本是否已成功升级：

./kafka-topics.sh --version

10. 升级集群其他节点

重复上述步骤，依次对集群中的其他节点进行升级。

11. 取消 inter.broker.protocol.version 配置并重启

升级完成后，取消 inter.broker.protocol.version 配置，确保所有节点使用默认协议版本：

# 编辑配置文件
vim /u01/kafka/config/server.properties

# 删除或注释掉该配置行
# inter.broker.protocol.version=2.6

依次重启所有节点：

./kafka-server-stop.sh
./kafka-server-start.sh -daemon config/server.properties