kafka或者rokectMq消费堆积,如何排查并解决?

kafka和rocketMq都是消息中间件,消息中间件的作用,异步,削峰,解耦

  • 异步化提升性能。通过引入消息中间件,可以在客户端和服务器之间实现异步通信,从而提高系统的处理能力和响应速度。1
  • 降低耦合度。消息中间件允许不同的应用程序组件通过发送和接收消息来进行通信,从而提高了系统的模块性和可维护性。12
  • 流量削峰。在面对高并发请求时,消息中间件可以帮助系统更好地应对瞬时流量高峰,防止系统因负载过重而崩溃。
  • 扩展性。消息中间件能够通过增加或修改处理过程来轻松地扩展系统的处理能力,而无需修改代码或调整参数。4
  • 冗余存储。通过消息的持久化功能,消息中间件可以在节点或服务器发生故障时保证数据不丢失。
  • 顺序保证在某些应用场景下,数据处理的顺序非常重要,而大部分消息中间件支持一定程度的顺序性。
  • 缓冲。消息中间件通过缓冲层帮助任务最高效率地执行,控制和优化数据流经过系统的速度。
  • 事件驱动架构。消息中间件支持事件驱动架构,提供异步处理机制,允许应用将消息放入队列中,并在需要时再处理。此外,消息中间件- - 还支持多种传递模式,如点对点模式和发布/订阅模式,并且可以通过多种协议进行通信。

可以看到kafka或者rokectMQ的时候,发送消息以后,会出现数据阻塞,消费很慢的情况。这种情况有以下处理的几种方式。

  1. 看消费组是否有多个订阅者在进行订阅,并进行消费。看消费者的数据,发送者的数量,能否把消费者的数量增加,已提高消费的速度。
  2. 在消费者中,可以使用线程池,启动多个线程,然后多线程去消费这些数据,这样可以提高消速度。
  3. 看代码中是否有操作数据库的地方,操作数据库的地方是增,删,改,查。是否有用到,具体的耗时又是多少。
    (1)、如果是查询,判断数据是否必须使用最新的实时数据,如果是,那么就要优化SQL,以保证能够达到要求。如果数据是配置的数据,不需要强实时,那么就可以使用缓存降低耗时,提高消费速度。
    (2)、新增的情况下,如果可以使用批量新增,尽量使用批量新增,这样可以提高消费的速度,不用每次消费都访问数据库进行新增。
    (3)、修改,删除,亦是如此。
  4. 看是否有外部的接口调用,比如一些http的请求,或者调用了其他的三方组件,es的写入,hbase的写入,redis的操作,等等。看看会不会有网络请求延迟的情况,导致了消费速度变慢,数据堆积。
  5. 检查代码中是否有用到很多的for循环,while循环,或者其他代码导致代码的性能下降,从而让整体的消费速度变慢。
  6. 对于线程池对于多线程进行消费kafka的数据,一台服务器是16核,每台服务器设置6个线程,一共12台服务器,那么线程一共是72个。这个时候如果还是依然的kafka消费速度起不来,依然堆积,要考虑是否有其他的原因,可以看看服务器的情况,可能是多线程消耗了CPU的性能,因为线程中有可能访问数据库,但是数据库很慢,那么线程都在启动执行中,直接把CPU打满了,所以这个时候就看数据库的SQL怎么优化了,是否可以加索引(覆盖索引,联合索引,等等)。让SQL的速度变快,线程启动很快就结束,CPU也就降下来了。消费速度提升上来。

如果对你有帮助,或是有一些启发的话,制作不易,还请点赞收藏!!!感谢感谢。

相关推荐
阿里云云原生9 小时前
还在给 AI “喂冷饭”?8.28 上海沙龙:带你跨越 AI 实时上下文鸿沟
云原生·kafka
海兰17 小时前
【Kafka学习4】六大核心 API
学习·kafka·linq
NJCloud18 小时前
ELK企业级日志分析平台(四)——基于 ELFK + Kafka 的日志采集与传输平台部署实践
linux·运维·分布式·elk·kafka
海兰2 天前
【Kafka学习3】Apache Kafka 本地部署环境快速入门指南
学习·kafka·apache
渣渣盟2 天前
Flink + Kafka 数据写入实战:从API调用到端到端一致性精讲
flink·kafka·linq
海兰2 天前
【Kafka学习2】Apache Kafka 典型应用场景
学习·kafka·apache
heimeiyingwang2 天前
【架构实战】消息队列选型与异步架构设计:从Kafka到RabbitMQ,一次聊透
架构·kafka·rabbitmq
lakernote3 天前
图解 Kafka Consumer 常用 API:poll、seek、pause、wakeup 到底在控制什么?
分布式·kafka·linq
lazy H3 天前
不同的消息队列有什么区别?Kafka、RabbitMQ、RocketMQ、Pulsar、ActiveMQ 选型对比
后端·中间件·kafka·rabbitmq·rocketmq
hopsky3 天前
kafka 对发送端的容错处理
数据库·分布式·kafka