kafka处理大量消息积压tips —— 筑梦之路

一、consumer导致kafka积压了大量消息

场景:

  1. 如果是Kafka消费能力不足,则可以考虑增加 topic 的 partition 的个数,

同时提升消费者组的消费者数量,消费数 = 分区数 (二者缺一不可)

  1. 若是下游数据处理不及时,则提高每批次拉取的数量。批次拉取数量过少

(拉取数据/处理时间 < 生产速度),使处理的数据小于生产的数据,也会造成数据积压。

方法:

  1. 增大partion数量,

  2. 消费者加了并发,服务, 扩大消费线程

  3. 增加消费组服务数量

  4. kafka单机升级成了集群

  5. 避免消费者消费消息时间过长,导致超时

  6. 使Kafka分区之间的数据均匀分布

二、消息过期失效

产生消息堆积,消费不及时,kafka数据有过期时间,一些数据就丢失了,主要是消费不及时

经验

  1. 消费kafka消息时,应该尽量减少每次消费时间,可通过减少调用三方接口、读库等操作,

从而减少消息堆积的可能性。

  1. 如果消息来不及消费,可以先存在数据库中,然后逐条消费

(还可以保存消费记录,方便定位问题)

  1. 每次接受kafka消息时,先打印出日志,包括消息产生的时间戳。

  2. kafka消息保留时间(修改kafka配置文件, 默认一周)

  3. 任务启动从上次提交offset处开始消费处理

三、综上使用kafka注意事项

  1. 由于Kafka消息key设置,在Kafka producer处,给key加随机后缀,使其均衡

  2. 数据量很大,合理的增加Kafka分区数是关键。

Kafka分区数是Kafka并行度调优的最小单元,如果Kafka分区数设置的太少,

会影响Kafka consumer消费的吞吐量. 如果利用的是Spark流和Kafka direct approach方式,

也可以对KafkaRDD进行repartition重分区,增加并行度处理.

相关推荐
stark张宇17 小时前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
飞奔的瓜牛21 小时前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
时间的拾荒人1 天前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构
筑梦之人2 天前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
kiwixing3 天前
GaussDB|集中式还是分布式?三把尺子选型
分布式·gaussdb
真上帝的左手3 天前
30. 技术专题-‌应用框架组件-分布式架构
分布式·架构·系统架构·分布式架构
zixu_star4 天前
从单机到分布式:定时任务如何处理大量数据与执行失败?
分布式
lsc_blog5 天前
听到优化风声,先准备能由自己掌控的事
数据库·分布式·中间件·职场和发展·重构
Lansonli6 天前
大数据Spark(八十七):Spark-Submit 参数详解
大数据·分布式·spark
qq_452396236 天前
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》
分布式·kafka