一、为什么 Kafka 需要"用对"和"养好"
Kafka 作为高吞吐、可水平扩展的分布式消息中间件,几乎是 Java 后端项目的标配。但很多团队在引入 Kafka 后,往往只关注"能发能收",忽略了可靠性、顺序性、幂等性和长期运维成本,最终在生产环境踩坑:消息丢失、重复消费、消费积压、磁盘打满、分区倾斜、集群抖动等问题层出不穷。
本文从实际使用注意事项 、性能优化 和运维人员日常维护三个维度展开,帮助开发和运维同学把 Kafka 用稳、用好。
二、实际使用中必须注意的关键点
2.1 生产者:可靠性三件套
生产者侧最容易出问题的就是消息丢失。核心要关注三个配置:
- acks :生产环境建议设置为
acks=all(即-1),确保消息被所有 ISR 副本确认后才算成功,避免 leader 宕机导致消息丢失。 - retries :开启重试并设置合理次数,配合
retry.backoff.ms控制重试间隔,避免瞬时网络抖动造成失败。 - enable.idempotence :开启幂等生产者,防止重试导致的消息重复写入。开启后需保证
acks=all、max.in.flight.requests.per.connection <= 5。
properties
# 生产者可靠性推荐配置
acks=all
retries=2147483647
enable.idempotence=true
max.in.flight.requests.per.connection=5
delivery.timeout.ms=120000
另外,发送消息时建议使用带回调的异步发送方式,在回调中记录失败日志,便于问题追踪:
java
producer.send(new ProducerRecord<>("order-topic", key, value), (metadata, exception) -> {
if (exception != null) {
log.error("消息发送失败, topic={}, key={}", "order-topic", key, exception);
// 可写入本地重试表或告警
} else {
log.debug("消息发送成功, partition={}, offset={}",
metadata.partition(), metadata.offset());
}
});
2.2 消费者:避免重复消费与消息丢失
- 关闭自动提交 :设置
enable.auto.commit=false,在业务处理成功后再手动提交 offset,避免"先提交后处理"导致消息丢失。 - 幂等消费:Kafka 只能保证 at-least-once,业务侧必须做幂等,例如用唯一业务 ID 去重、数据库唯一索引、Redis 记录已处理消息等。
- 合理设置消费组:同一消费组内一个分区只会被一个消费者消费,消费者数量不要超过分区数,否则多余的消费者会空闲。
- 处理 rebalance :避免消费者处理时间过长触发 rebalance,可通过
max.poll.interval.ms和max.poll.records配合调整。
properties
# 消费者推荐配置
enable.auto.commit=false
auto.offset.reset=earliest
max.poll.records=500
max.poll.interval.ms=300000
session.timeout.ms=30000
heartbeat.interval.ms=3000
2.3 分区与顺序性
- 分区数规划:分区数决定并行度上限,但并非越多越好。分区过多会增加 broker 元数据管理、文件句柄和 rebalance 成本。一般建议单 broker 分区总数控制在 2000~4000 以内。
- 顺序性保证 :Kafka 只保证单分区内有序。若业务要求同一订单的消息有序,需使用相同的 key(如订单号)发送到同一分区。
- 避免分区倾斜:key 设计不合理会导致热点分区,可通过加盐、复合 key 或自定义分区器缓解。
2.4 Topic 与消息设计
- 合理设置副本数 :生产环境
replication.factor至少为 3,配合min.insync.replicas=2,在保证可靠性的同时兼顾可用性。 - 消息体不要过大:单条消息建议控制在 1MB 以内,大消息会显著影响吞吐和网络传输,必要时可拆分或使用对象存储 + 消息引用。
- 设置消息保留策略 :根据业务设置
retention.ms或retention.bytes,避免磁盘无限增长。
三、Kafka 性能优化实践
3.1 生产者性能优化
- 批量发送 :增大
batch.size(如 16KB~64KB)和linger.ms(如 5~20ms),让消息攒批发送,显著提升吞吐。 - 压缩 :开启
compression.type=lz4或zstd,在 CPU 和网络带宽之间取得平衡,通常能大幅降低网络传输量。 - 缓冲区 :适当增大
buffer.memory,避免发送阻塞。
3.2 Broker 性能优化
- 磁盘与 IO:Kafka 依赖顺序写,建议使用 SSD 或高性能磁盘,并做好磁盘 RAID 与 IO 调度优化。
- 线程配置 :根据 CPU 核数调整
num.network.threads和num.io.threads,一般分别为 CPU 核数的 1 倍和 2 倍左右。 - 页缓存:Kafka 大量依赖操作系统页缓存,避免与其他吃内存的应用混部,预留足够内存给 page cache。
- JVM 调优:堆内存不宜过大(一般 6~8GB 足够),推荐使用 G1 垃圾回收器,减少 GC 停顿。
properties
# Broker 关键性能参数示例
num.network.threads=8
num.io.threads=16
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
num.partitions=6
default.replication.factor=3
log.flush.interval.messages=10000
log.retention.hours=168
3.3 消费端性能优化
- 提高并行度:增加消费者实例或分区数,提升整体消费能力。
- 批量处理 :适当增大
max.poll.records,配合批量入库或批量提交,减少 IO 次数。 - 异步处理:将耗时业务逻辑异步化,避免阻塞 poll 循环导致 rebalance。
四、运维人员日常维护 Kafka 的要点
4.1 日常巡检清单
| 巡检项 | 关注指标 | 异常处理建议 |
|---|---|---|
| 集群健康 | Broker 存活数、Controller 状态 | Broker 掉线及时排查网络、磁盘、GC |
| 副本同步 | UnderReplicatedPartitions、ISR 收缩 | ISR 频繁收缩需检查网络与磁盘 IO |
| 消费积压 | Consumer Lag | 积压持续增长需扩容消费者或排查慢处理 |
| 磁盘使用 | 磁盘使用率、日志段数量 | 超过 80% 需清理或扩容,检查保留策略 |
| 请求延迟 | Produce/Fetch 请求耗时 | 延迟升高排查 IO、GC、网络 |
| 分区分布 | 分区 leader 分布、倾斜情况 | 倾斜严重时执行分区重分配 |
4.2 监控体系建设
建议使用 Prometheus + Grafana 采集 Kafka 指标,或使用 JMX Exporter 暴露 broker 的 JMX 指标。重点监控以下维度:
- Broker 层:CPU、内存、磁盘 IO、网络带宽、GC 次数与耗时。
- Topic 层:消息写入速率、消费速率、分区数、副本状态。
- 消费组层:Consumer Lag、消费速率、rebalance 次数。
同时配置告警规则,例如:UnderReplicatedPartitions > 0 持续 5 分钟、Consumer Lag 超过阈值、磁盘使用率超过 80% 等。
4.3 常见运维操作
- 分区扩容 :使用
kafka-topics.sh --alter --partitions增加分区,注意分区只能增加不能减少,且增加分区会破坏原有 key 的分区映射,需评估顺序性影响。 - 分区重分配 :使用
kafka-reassign-partitions.sh进行分区迁移,缓解 broker 负载不均。 - 副本扩缩容 :通过
kafka-reassign-partitions.sh调整副本分布,操作时注意限流,避免影响线上流量。 - 日志清理 :定期检查日志保留策略,必要时手动触发
kafka-log-dirs.sh查看磁盘占用。 - 版本升级:遵循滚动升级原则,先升级 broker 再升级客户端,升级前做好数据备份和回滚预案。
4.4 故障应急处理
- Broker 宕机:确认副本是否自动切换 leader,检查宕机原因(OOM、磁盘满、GC 等),恢复后观察 ISR 同步情况。
- 消费积压:先定位是生产突增还是消费变慢,临时扩容消费者,必要时增加分区。
- 磁盘写满:紧急清理过期日志或扩容磁盘,同时检查保留策略是否合理。
- Controller 频繁切换:排查 ZooKeeper/KRaft 元数据服务稳定性及网络抖动。
五、总结
Kafka 的稳定运行,既依赖开发侧对可靠性、幂等性、顺序性和分区设计的正确使用,也依赖运维侧完善的监控、巡检和应急体系。核心可以归纳为三点:
- 用对:生产者保证不丢、消费者保证幂等、分区设计兼顾并行与顺序。
- 调优:从批量、压缩、线程、页缓存、JVM 等维度持续优化吞吐与延迟。
- 养好:建立监控告警、定期巡检、规范变更和应急预案,把问题消灭在爆发之前。
只有开发与运维协同,才能让 Kafka 在高并发场景下真正成为可靠的消息基础设施。