消费数据积压

生产者生产数据的速度超过消费者处理数据的速度,会造成kafka中积压大量未处理的数据

2-1 使用Kafka Eagle查看消费积压

Kafka Eagle是一个用于监控和管理kafka的开源组件,可以同时监控多个kafka集群,

通过Kafka Eagle可以看到当前的消费者组,对于每个组,他们正在使用的主题以及该组在每个主题中的偏移量,消费积压等等
JMX(Java Management Extensions,即 Java 管理扩展)是一个为应用程序、设备、系统等植入管理功能的框架。

它提供了对Java应用程序和JVM的监控和管理功能。通过JMX,我们可以监控服务器中的各种资源的使用情况,CPU、内存,JVM内存的使用情况.

安装kafka-eagle 参考安装文件,只需要在一台服务器上安装即可,版本是1.4.6

  • 启动服务
sh 复制代码
ke.sh start
  • 测试数据写入
python 复制代码
kafka-producer-perf-test.sh --topic user --num-records 1000000 --throughput -1 --record-size 1024 --producer-props bootstrap.servers=node1.itcast.cn:9092,node2.itcast.cn:9092,node3.itcast.cn:9092
  • 限流
    • 限制数据的写入速度
    • 写入速度的限制要根据实际情况调整
sh 复制代码
kafka-configs.sh --zookeeper node1.itcast.cn:2181 --alter --add-config 'producer_byte_rate=1048576' --entity-type clients --entity-default
相关推荐
lwprain8 小时前
龙蜥8.10中spark各种集群及单机模式的搭建spark3.5.6(基于hadoop3.3.6集群)
大数据·ajax·spark
BYSJMG17 小时前
计算机毕设推荐:基于Hadoop+Spark物联网网络安全数据分析系统 物联网威胁分析系统【源码+文档+调试】
大数据·hadoop·python·物联网·spark·django·课程设计
XueminXu18 小时前
Spark-SQL任务提交方式
sql·spark·spark-sql·sql文件·元数据·sql脚本·hms
武子康21 小时前
大数据-96 SparkSQL 语句详解:从 DataFrame 到 SQL 查询与 Hive 集成全解析
大数据·后端·spark
小朋友,你是否有很多问号?1 天前
Spark10- RDD转DataFrame的三种方式
大数据·javascript·spark
麦麦大数据1 天前
J002 Vue+SpringBoot电影推荐可视化系统|双协同过滤推荐算法评论情感分析spark数据分析|配套文档1.34万字
vue.js·spring boot·数据分析·spark·可视化·推荐算法
渣渣盟1 天前
Spark核心:单跳转换率计算全解析
大数据·spark·scala·apache
IT毕设梦工厂1 天前
大数据毕业设计选题推荐-基于大数据的国家医用消耗选品采集数据可视化分析系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·信息可视化·spark·毕业设计·数据可视化·bigdata
智海观潮1 天前
Spark SQL解析查询parquet格式Hive表获取分区字段和查询条件
hive·sql·spark
武子康2 天前
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例
大数据·后端·spark