kafka或者rokectMq消费堆积,如何排查并解决?

kafka和rocketMq都是消息中间件,消息中间件的作用,异步,削峰,解耦

  • 异步化提升性能。通过引入消息中间件,可以在客户端和服务器之间实现异步通信,从而提高系统的处理能力和响应速度。1
  • 降低耦合度。消息中间件允许不同的应用程序组件通过发送和接收消息来进行通信,从而提高了系统的模块性和可维护性。12
  • 流量削峰。在面对高并发请求时,消息中间件可以帮助系统更好地应对瞬时流量高峰,防止系统因负载过重而崩溃。
  • 扩展性。消息中间件能够通过增加或修改处理过程来轻松地扩展系统的处理能力,而无需修改代码或调整参数。4
  • 冗余存储。通过消息的持久化功能,消息中间件可以在节点或服务器发生故障时保证数据不丢失。
  • 顺序保证在某些应用场景下,数据处理的顺序非常重要,而大部分消息中间件支持一定程度的顺序性。
  • 缓冲。消息中间件通过缓冲层帮助任务最高效率地执行,控制和优化数据流经过系统的速度。
  • 事件驱动架构。消息中间件支持事件驱动架构,提供异步处理机制,允许应用将消息放入队列中,并在需要时再处理。此外,消息中间件- - 还支持多种传递模式,如点对点模式和发布/订阅模式,并且可以通过多种协议进行通信。

可以看到kafka或者rokectMQ的时候,发送消息以后,会出现数据阻塞,消费很慢的情况。这种情况有以下处理的几种方式。

  1. 看消费组是否有多个订阅者在进行订阅,并进行消费。看消费者的数据,发送者的数量,能否把消费者的数量增加,已提高消费的速度。
  2. 在消费者中,可以使用线程池,启动多个线程,然后多线程去消费这些数据,这样可以提高消速度。
  3. 看代码中是否有操作数据库的地方,操作数据库的地方是增,删,改,查。是否有用到,具体的耗时又是多少。
    (1)、如果是查询,判断数据是否必须使用最新的实时数据,如果是,那么就要优化SQL,以保证能够达到要求。如果数据是配置的数据,不需要强实时,那么就可以使用缓存降低耗时,提高消费速度。
    (2)、新增的情况下,如果可以使用批量新增,尽量使用批量新增,这样可以提高消费的速度,不用每次消费都访问数据库进行新增。
    (3)、修改,删除,亦是如此。
  4. 看是否有外部的接口调用,比如一些http的请求,或者调用了其他的三方组件,es的写入,hbase的写入,redis的操作,等等。看看会不会有网络请求延迟的情况,导致了消费速度变慢,数据堆积。
  5. 检查代码中是否有用到很多的for循环,while循环,或者其他代码导致代码的性能下降,从而让整体的消费速度变慢。
  6. 对于线程池对于多线程进行消费kafka的数据,一台服务器是16核,每台服务器设置6个线程,一共12台服务器,那么线程一共是72个。这个时候如果还是依然的kafka消费速度起不来,依然堆积,要考虑是否有其他的原因,可以看看服务器的情况,可能是多线程消耗了CPU的性能,因为线程中有可能访问数据库,但是数据库很慢,那么线程都在启动执行中,直接把CPU打满了,所以这个时候就看数据库的SQL怎么优化了,是否可以加索引(覆盖索引,联合索引,等等)。让SQL的速度变快,线程启动很快就结束,CPU也就降下来了。消费速度提升上来。

如果对你有帮助,或是有一些启发的话,制作不易,还请点赞收藏!!!感谢感谢。

相关推荐
whaledown2 小时前
互联网大厂Java求职面试三轮提问详解(涵盖Spring Boot、微服务、Kafka等核心技术)
java·jvm·数据库·spring boot·微服务·面试·kafka
梦想的颜色16 小时前
【Docker部署插件】:使用 Docker 部署生产级 Kafka 完整版教程
安全·docker·中间件·kafka·消息队列·docker-compose·后端开发
考虑考虑21 小时前
kafka4安装
后端·kafka·自动化运维
lzhcoder2 天前
Spring Boot 集成 Kafka:先跑通 Demo,再避开那 80% 的人踩过的坑
java·kafka
Kyrie_Li4 天前
Spring Boot Kafka 生产级配置全解析:从入门到精通
spring boot·后端·kafka
2301_801184754 天前
kafka-zookeeper
分布式·zookeeper·kafka
Devin~Y4 天前
抖音级短视频推荐与直播带货平台面试实战:从 Java 微服务到 RAG 智能客服全链路解析
java·spring boot·redis·spring cloud·kafka·agent·rag
livemetee4 天前
关于【Kafka高可用配置】
分布式·kafka
TTBIGDATA4 天前
【Ambari Plus】11.Kafka 安装
大数据·hadoop·分布式·kafka·ambari·hdp·ambari plus
rebibabo5 天前
Java基础(番外) | Kafka 入门:分区、副本与消费者组原理
java·分布式·kafka·学习笔记·副本·分区·异步日志