Kafka 的默认配置适合演示,不适合生产

引入 Kafka 之后,能发能收当天就通了,问题都是从第二周开始的。消息丢了、重复消费、消费积压、磁盘打满、分区倾斜,一个一个冒出来。

热榜上那篇 Kafka 实践指南把这些点列得挺全,我按自己踩过的顺序重排一遍,重点说清三个最容易被忽略的。

一、生产者的可靠性,靠三个配置连在一起

丢消息这个事,八成出在生产者侧。

acks 要设成 all,也就是所有同步副本都确认才算成功。默认值在 leader 落盘后就返回,leader 一挂,那批消息就没了。

重试要开,间隔要设,别用固定值。

幂等要开。这个配置的意义是防止重试导致重复写入,它的前提条件写在文档里,必须配 acks=all,且未确认的请求数不超过五。这三条是一组,单独开一个不成立。

properties 复制代码
acks=all
retries=2147483647
enable.idempotence=true
max.in.flight.requests.per.connection=5
delivery.timeout.ms=120000

那个 delivery.timeout.ms 要大于请求超时加重试间隔的总和,写太小的话重试会被提前掉断,retries 设成很大也没用。

还有一条实践层面的。发送用带回调的异步方式,回调里把失败记下来,能落一张本地重试表更好。同步发送在高峰期会被网络拖住,吞吐直接掉一半。

二、消费端两个坑,先提交与不做幂等

enable.auto.commit 必须关。开着的话,是定时提交而不是处理成功才提交,消费者挂掉时那批已提交但没处理的消息就丢了。

关掉之后手动提交,而且要在业务处理成功之后再提交。这个顺序看着谁都知道,但代码里写反的比想象的多。

第二个坑是不做幂等。Kafka 只保证至少一次,重复是它的正常行为不是异常。业务侧必须有去重,用唯一业务 ID、数据库唯一约束、或者缓存记录已处理的偏移,三选一,一个都不能少。

之前写异步消费那篇时踩过这个坑,回调固定返回成功,失败信息传不上去,最后是靠业务侧的产出计数跟消费计数比对才发现的。

订阅者组还有一个容量常识。同一组内一个分区只会被一个消费者消费,消费者数超过分区数,多的那些会空转。扩消费者之前先看分区数。

rebalance 也要防。消费者单次处理时间太长会被踢出组,触发重平衡,期间整个组停摆。把单次拉取的条数调小、处理时间上限调大,这两个参数是一对。

三、顺序性只有一种保证方式

Kafka 只保证单分区内有序。要保证同一订单的消息有序,就用订单号当 key,让它落到同一个分区。

这条简单,但它带来一个副作用,key 设计不合理的时会热点。某些 key 特别密集,所有流量挤到一个分区,其他分区闲一半,这就是分区倾斜。

缓解办法加盐或者用复合 key,代价是顺序性可能被打散。这里有个真实的取舍,加了盐,同一个订单可能落到不同分区,顺序就没了。

我的做法是按业务分层。需要严格有序的,比如订单状态变更,不加盐,接受倾斜,靠限流控制;不需要有序的,比如日志埋点,加盐打散,优先吞吐。

场景 key 设计 是否保证顺序 代价
订单状态变更 订单号 是 可能倾斜
用户行为埋点 用户号加随机后缀 否 无
对账流水 账户号 是 重度倾斜
通知推送 消息 ID 否 无

四、Topic 与磁盘

副本数至少三,最小同步副本数设成二。这两个数一起决定容忍几个副本挂掉还能写。

消息体别太大。单条超过一 MB,吞吐和网络都会明显变差。大消息的做法是存对象存储,消息里只放引用。

保留策略要设。retention.ms 或 retention.bytes,两个都不设,磁盘迟早满。我见过的最典型事故是有人为了保住所有数据,把保留期设成永远,三个月后磁盘打满,整个 broker 挂掉,丢的数据比按天清理多得多。

五、性能调优里最有效的三个

批量与延迟。 加大批大小、给一点攒批时间,吞吐提升最明显。代价是端到端延迟增加,实时性要求高的场景别贪。

压缩。 开 lz4 或 zstd,网络传输量能降一大截,代价是一点 CPU。跳机房传输的场景,这一项收益最大。

页缓存。 Kafka 大量依赖操作系统的页缓存,别跟其他吃内存的应用混部,预留足够内存给缓存。JVM 堆不用太大,六到八 G 通常够。

还有一条运维常识,Kafka 靠顺序写,磁盘 IO 习惯跟随机写为主的数据库不一样,别把两者放同一块盘上抢 IO。

六、Agent 项目里怎么用

我们这边的场景是异步任务分发,用户提交任务,写进队列,worker 消费后调模型。四个配置值得单独说。

任务 ID 当 key,不要用用户 ID。 用用户 ID 会让所有任务挤到一个分区,热点明显。

消费者做幂等。 worker 可能重复消费,任务表用任务 ID 做主键,重复的直接跳过。

单次处理时间上限要给够。 一个任务调模型可能跑三分钟,max.poll.interval.ms 设成五分钟,别用默认的三十秒,不然会被踢出组。

死信队列要真的有人看。 消息重试到上限进死信,如果没人巡检,等于丢。我们做到每周看一次死信,超过十条就排查。

一句经验收尾。Kafka 的默认配置适合演示,不适合生产。丢消息、重复、积压这三类问题,八成都能靠几个配置加一条幂等逻辑挡掉。上线前把生产者和消费者的配置对照文档过一遍,花二十分钟,比事后查三天划算。

这一批还有两篇,一篇讲 ufw 是 active 但容器端口仍然对外,一篇讲 Spring Boot 怎么调 Python 算法服务。感兴趣的关注一下。

相关推荐
ClouGence5 小时前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
cpolar技术支持20 小时前
把 agent-autoloop 装在 Mac 上:用本机 Node 实跑一次「接活—提问—拍板—接着干」,再用 cpolar 把它的状态页开给不在工位的自己
node.js·内网穿透·cpolar·ai agent·agent-autoloop
用户3610588626121 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
wy_hhxx1 天前
《Agent设计模式 图解可复用智能体架构》下篇内容整理
人工智能·ai agent
西木Qi1 天前
Kafka消息中间件单机版安装配置
分布式·kafka
飞奔的瓜牛2 天前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
goehou2 天前
healthcheck 配了不生效,depends_on 默认只等容器起来
docker·容器编排·ai agent·healthcheck
codigger2 天前
飞书群聊已读,是怎么实现的?
消息队列·后端开发·#架构设计
吴名氏.2 天前
Java转AI Agent教程(第十五周)政策时效:过期政策不该被召回,也不能被删掉
java·人工智能·python·ai·ai agent