消费数据积压

生产者生产数据的速度超过消费者处理数据的速度,会造成kafka中积压大量未处理的数据

2-1 使用Kafka Eagle查看消费积压

Kafka Eagle是一个用于监控和管理kafka的开源组件,可以同时监控多个kafka集群,

通过Kafka Eagle可以看到当前的消费者组,对于每个组,他们正在使用的主题以及该组在每个主题中的偏移量,消费积压等等
JMX(Java Management Extensions,即 Java 管理扩展)是一个为应用程序、设备、系统等植入管理功能的框架。

它提供了对Java应用程序和JVM的监控和管理功能。通过JMX,我们可以监控服务器中的各种资源的使用情况,CPU、内存,JVM内存的使用情况.

安装kafka-eagle 参考安装文件,只需要在一台服务器上安装即可,版本是1.4.6

  • 启动服务
sh 复制代码
ke.sh start
  • 测试数据写入
python 复制代码
kafka-producer-perf-test.sh --topic user --num-records 1000000 --throughput -1 --record-size 1024 --producer-props bootstrap.servers=node1.itcast.cn:9092,node2.itcast.cn:9092,node3.itcast.cn:9092
  • 限流
    • 限制数据的写入速度
    • 写入速度的限制要根据实际情况调整
sh 复制代码
kafka-configs.sh --zookeeper node1.itcast.cn:2181 --alter --add-config 'producer_byte_rate=1048576' --entity-type clients --entity-default
相关推荐
贝塔西塔8 小时前
PySpark中python环境打包和JAR包依赖
大数据·开发语言·python·spark·jar·pyspark
抛砖者1 天前
hive/spark sql中unix_timestamp 函数的坑以及时间戳相关的转换
hive·sql·spark
isNotNullX3 天前
数据中台架构解析:湖仓一体的实战设计
java·大数据·数据库·架构·spark
暗影八度5 天前
Spark流水线数据质量检查组件
大数据·分布式·spark
涤生大数据6 天前
Apache Spark 4.0:将大数据分析提升到新的水平
数据分析·spark·apache·数据开发
xufwind6 天前
spark standlone 集群离线安装
大数据·分布式·spark
大数据CLUB6 天前
基于spark的奥运会奖牌变化数据分析
大数据·hadoop·数据分析·spark
华子w9089258597 天前
基于 Python Django 和 Spark 的电力能耗数据分析系统设计与实现7000字论文实现
python·spark·django
小新学习屋7 天前
Spark从入门到熟悉(篇三)
大数据·分布式·spark