kafka队列堆积问题的常见排查

1. 检查生产者和消费者的速率

生产者吞吐量测试:

复制代码
kafka-producer-perf-test.sh --topic <your-topic>  # 需要填写测试的主题名,如 "my-topic"
--num-records <count>  # 需要填写消息的数量(例如:100000)
--record-size <size>  # 需要填写消息的大小(字节数,例如:1024)
--throughput <rate>  # 需要填写生产者的吞吐量(每秒发送的消息数量,如:10000)
--producer-props bootstrap.servers=<brokers>  # 需要填写 Kafka 集群的 brokers(如:"kafka-broker1:9092,kafka-broker2:9092")

消费者吞吐量测试:

复制代码
kafka-consumer-perf-test.sh --topic <your-topic>  # 需要填写测试的主题名,如 "my-topic"
--broker-list <brokers>  # 需要填写 Kafka 集群的 brokers(如:"kafka-broker1:9092,kafka-broker2:9092")
--messages <count>  # 需要填写要消费的消息数量(例如:100000)
--group <your-consumer-group>  # 需要填写消费者组名,如 "my-consumer-group"
2. 查看 Kafka 消费者组的状态

查看某个消费者组的偏移量:

复制代码
kafka-consumer-groups.sh --bootstrap-server <brokers>  # 需要填写 Kafka brokers(如:"kafka-broker1:9092,kafka-broker2:9092")
--describe --group <your-consumer-group>  # 需要填写消费者组名,如 "my-consumer-group"

查看所有消费者组的状态:

复制代码
kafka-consumer-groups.sh --bootstrap-server <brokers>  # 需要填写 Kafka brokers(如:"kafka-broker1:9092,kafka-broker2:9092")
--list  # 列出所有消费者组
3. 查看 Kafka 主题的分区情况

查看某个主题的分区信息:

复制代码
kafka-topics.sh --bootstrap-server <brokers>  # 需要填写 Kafka brokers(如:"kafka-broker1:9092,kafka-broker2:9092")
--describe --topic <your-topic>  # 需要填写主题名,如 "my-topic"

查看所有主题:

复制代码
kafka-topics.sh --bootstrap-server <brokers>  # 需要填写 Kafka brokers(如:"kafka-broker1:9092,kafka-broker2:9092")
--list  # 列出所有主题
4. 查看 Kafka 集群的资源使用情况

查看 Kafka broker 的状态:

复制代码
kafka-broker-api-versions.sh --bootstrap-server <brokers>  # 需要填写 Kafka brokers(如:"kafka-broker1:9092,kafka-broker2:9092")

查看 Kafka broker 的详细信息:

复制代码
kafka-broker-api-versions.sh --bootstrap-server <brokers> --describe  # 需要填写 Kafka brokers(如:"kafka-broker1:9092,kafka-broker2:9092")
5. 查看 Kafka 消息堆积情况

使用 kafka-run-class.sh 查看堆积的消息:

复制代码
kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper <zookeeper-server>  # 需要填写 Zookeeper 服务器地址(如:"zookeeper1:2181")
--topic <your-topic>  # 需要填写主题名,如 "my-topic"
--group <your-consumer-group>  # 需要填写消费者组名,如 "my-consumer-group"

查看 Kafka 消息日志目录的磁盘占用情况:

复制代码
du -sh /var/lib/kafka/logs  # 需要根据实际 Kafka 配置文件中的日志路径来调整,默认路径是 "/var/lib/kafka/logs"

查看 Kafka 消息的堆积情况(Prometheus):

复制代码
curl http://<kafka-broker>:<port>/metrics | grep "log"  # 需要填写 Kafka broker 的地址和端口(如:"kafka-broker1:9092")
6. 查看 Kafka 节点的负载和资源使用

检查 Kafka 节点的负载情况(CPU、内存、磁盘):

复制代码
top -u kafka  # 这将显示 Kafka 进程的 CPU 和内存使用情况

#或者使用
htop  # 更加友好的交互式命令,查看 Kafka 进程的负载

查看 Kafka 磁盘使用情况:

复制代码
df -h /var/lib/kafka  # 需要填写 Kafka 数据目录所在路径,默认是 "/var/lib/kafka"
7. 监控 Kafka 的性能和健康状况

Kafka Metrics (JMX): 启动 JMX 客户端:

复制代码
jconsole <kafka-broker-ip>:<jmx-port>  # 需要填写 Kafka broker 的 IP 地址和 JMX 端口(通常默认为 1099)
8. 查看生产者和消费者日志

生产者日志:

复制代码
tail -f /var/log/kafka/producer.log  # 需要根据实际日志文件路径来调整,默认路径可能是 "/var/log/kafka"

消费者日志:

复制代码
tail -f /var/log/kafka/consumer.log  # 需要根据实际日志文件路径来调整,默认路径可能是 "/var/log/kafka"
9. 查看 Kafka 配置

查看 Kafka 配置文件(server.properties):

复制代码
cat /etc/kafka/server.properties  # 需要填写 Kafka 配置文件路径,默认路径通常是 "/etc/kafka/server.properties"

常见关键配置项:

log.retention.hours:设置消息的保留时间(单位:小时)

log.retention.bytes:设置日志文件的最大大小

num.partitions:默认分区数

log.segment.bytes:日志文件的最大大小

10. Kafka 消费者线程调优

查看消费者处理的线程数和调整并发度:

复制代码
ps aux | grep kafka-consumer  # 查看 Kafka 消费者进程的详细信息,包括线程数、CPU 和内存使用等
相关推荐
掘金-我是哪吒1 小时前
分布式微服务系统架构第156集:JavaPlus技术文档平台日更-Java线程池使用指南
java·分布式·微服务·云原生·架构
亲爱的非洲野猪1 小时前
Kafka消息积压的多维度解决方案:超越简单扩容的完整策略
java·分布式·中间件·kafka
活跃家族1 小时前
分布式压测
分布式
前端世界3 小时前
HarmonyOS开发实战:鸿蒙分布式生态构建与多设备协同发布全流程详解
分布式·华为·harmonyos
DavidSoCool3 小时前
RabbitMQ使用topic Exchange实现微服务分组订阅
分布式·微服务·rabbitmq
掘金-我是哪吒5 小时前
分布式微服务系统架构第158集:JavaPlus技术文档平台日更-JVM基础知识
jvm·分布式·微服务·架构·系统架构
东窗西篱梦5 小时前
Redis集群部署指南:高可用与分布式实践
数据库·redis·分布式
Acrel_Fanny5 小时前
Acrel-1000系列分布式光伏监控系统在湖北荆门一马光彩大市场屋顶光伏发电项目中应用
分布式
xufwind5 小时前
spark standlone 集群离线安装
大数据·分布式·spark
半新半旧6 小时前
Redis集群和 zookeeper 实现分布式锁的优势和劣势
redis·分布式·zookeeper