引入 Kafka 之后,能发能收当天就通了,问题都是从第二周开始的。消息丢了、重复消费、消费积压、磁盘打满、分区倾斜,一个一个冒出来。
热榜上那篇 Kafka 实践指南把这些点列得挺全,我按自己踩过的顺序重排一遍,重点说清三个最容易被忽略的。
一、生产者的可靠性,靠三个配置连在一起
丢消息这个事,八成出在生产者侧。
acks 要设成 all,也就是所有同步副本都确认才算成功。默认值在 leader 落盘后就返回,leader 一挂,那批消息就没了。
重试要开,间隔要设,别用固定值。
幂等要开。这个配置的意义是防止重试导致重复写入,它的前提条件写在文档里,必须配 acks=all,且未确认的请求数不超过五。这三条是一组,单独开一个不成立。
properties
acks=all
retries=2147483647
enable.idempotence=true
max.in.flight.requests.per.connection=5
delivery.timeout.ms=120000
那个 delivery.timeout.ms 要大于请求超时加重试间隔的总和,写太小的话重试会被提前掉断,retries 设成很大也没用。
还有一条实践层面的。发送用带回调的异步方式,回调里把失败记下来,能落一张本地重试表更好。同步发送在高峰期会被网络拖住,吞吐直接掉一半。
二、消费端两个坑,先提交与不做幂等
enable.auto.commit 必须关。开着的话,是定时提交而不是处理成功才提交,消费者挂掉时那批已提交但没处理的消息就丢了。
关掉之后手动提交,而且要在业务处理成功之后再提交。这个顺序看着谁都知道,但代码里写反的比想象的多。
第二个坑是不做幂等。Kafka 只保证至少一次,重复是它的正常行为不是异常。业务侧必须有去重,用唯一业务 ID、数据库唯一约束、或者缓存记录已处理的偏移,三选一,一个都不能少。
之前写异步消费那篇时踩过这个坑,回调固定返回成功,失败信息传不上去,最后是靠业务侧的产出计数跟消费计数比对才发现的。
订阅者组还有一个容量常识。同一组内一个分区只会被一个消费者消费,消费者数超过分区数,多的那些会空转。扩消费者之前先看分区数。
rebalance 也要防。消费者单次处理时间太长会被踢出组,触发重平衡,期间整个组停摆。把单次拉取的条数调小、处理时间上限调大,这两个参数是一对。
三、顺序性只有一种保证方式
Kafka 只保证单分区内有序。要保证同一订单的消息有序,就用订单号当 key,让它落到同一个分区。
这条简单,但它带来一个副作用,key 设计不合理的时会热点。某些 key 特别密集,所有流量挤到一个分区,其他分区闲一半,这就是分区倾斜。
缓解办法加盐或者用复合 key,代价是顺序性可能被打散。这里有个真实的取舍,加了盐,同一个订单可能落到不同分区,顺序就没了。
我的做法是按业务分层。需要严格有序的,比如订单状态变更,不加盐,接受倾斜,靠限流控制;不需要有序的,比如日志埋点,加盐打散,优先吞吐。
| 场景 | key 设计 | 是否保证顺序 | 代价 |
|---|---|---|---|
| 订单状态变更 | 订单号 | 是 | 可能倾斜 |
| 用户行为埋点 | 用户号加随机后缀 | 否 | 无 |
| 对账流水 | 账户号 | 是 | 重度倾斜 |
| 通知推送 | 消息 ID | 否 | 无 |
四、Topic 与磁盘
副本数至少三,最小同步副本数设成二。这两个数一起决定容忍几个副本挂掉还能写。
消息体别太大。单条超过一 MB,吞吐和网络都会明显变差。大消息的做法是存对象存储,消息里只放引用。
保留策略要设。retention.ms 或 retention.bytes,两个都不设,磁盘迟早满。我见过的最典型事故是有人为了保住所有数据,把保留期设成永远,三个月后磁盘打满,整个 broker 挂掉,丢的数据比按天清理多得多。
五、性能调优里最有效的三个
批量与延迟。 加大批大小、给一点攒批时间,吞吐提升最明显。代价是端到端延迟增加,实时性要求高的场景别贪。
压缩。 开 lz4 或 zstd,网络传输量能降一大截,代价是一点 CPU。跳机房传输的场景,这一项收益最大。
页缓存。 Kafka 大量依赖操作系统的页缓存,别跟其他吃内存的应用混部,预留足够内存给缓存。JVM 堆不用太大,六到八 G 通常够。
还有一条运维常识,Kafka 靠顺序写,磁盘 IO 习惯跟随机写为主的数据库不一样,别把两者放同一块盘上抢 IO。
六、Agent 项目里怎么用
我们这边的场景是异步任务分发,用户提交任务,写进队列,worker 消费后调模型。四个配置值得单独说。
任务 ID 当 key,不要用用户 ID。 用用户 ID 会让所有任务挤到一个分区,热点明显。
消费者做幂等。 worker 可能重复消费,任务表用任务 ID 做主键,重复的直接跳过。
单次处理时间上限要给够。 一个任务调模型可能跑三分钟,max.poll.interval.ms 设成五分钟,别用默认的三十秒,不然会被踢出组。
死信队列要真的有人看。 消息重试到上限进死信,如果没人巡检,等于丢。我们做到每周看一次死信,超过十条就排查。
一句经验收尾。Kafka 的默认配置适合演示,不适合生产。丢消息、重复、积压这三类问题,八成都能靠几个配置加一条幂等逻辑挡掉。上线前把生产者和消费者的配置对照文档过一遍,花二十分钟,比事后查三天划算。
这一批还有两篇,一篇讲 ufw 是 active 但容器端口仍然对外,一篇讲 Spring Boot 怎么调 Python 算法服务。感兴趣的关注一下。