Spark:背压机制

Spark1.5以前版本,用户如果想要限制Receiver的数据接收速率,可以通过设置静态配置参数"spark.streaming.receiver.maxRate"的值来实现,此举虽然可以通过限制接收速率,来适配当前的处理能力,防止内存溢出,但也会引入其他问题,比如:producer数据生产高于maxRate,当前集群处理能力也高于maxRate,这就会造成资源利用率下降等问题。

为了更好的协调数据接收速率与资源处理能力,1.5版本开始SparkStreaming可以动态控制数据接收速率来适配集群数据处理能力,背压机制(Spark Streaming Backpressure):根据JobScheduler反馈作业的执行信息来动态调整Receiver数据接收率

通过属性"spark.streaming.backpressure.enabled"来控制是否启用backpressure机制,默认值false,即不启用

相关推荐
pride.li30 分钟前
Git 笔记:将一段旧历史压缩成一个提交
大数据·elasticsearch·搜索引擎
数智化管理手记1 小时前
零基础认知精益生产——核心本质与必避误区
大数据·数据库·人工智能·低代码·制造
lifallen2 小时前
Flink Watermark 设计分析
java·大数据·flink
永霖光电_UVLED2 小时前
Cree LED 推出一款专为满足现代园艺和农业照明需求红光LED
大数据·汽车·制造·娱乐
萌>__<新2 小时前
Git常见使用命令及易踩坑点
大数据·elasticsearch·搜索引擎
TechMasterPlus3 小时前
Harness Engineer:把 AI 变成可复用工程能力的实践指南
大数据·人工智能
wydxry3 小时前
深入解析自适应光学中的哈特曼波前传感技术:原理、算法与智能化前沿
大数据·人工智能·算法
未秃头的程序猿3 小时前
从零到一:深入浅出分布式锁原理与Spring Boot实战(Redis + ZooKeeper)
spring boot·分布式·后端
豆豆3 小时前
集团网站建设指南:站群架构如何平衡品牌统一与业务独立
大数据·人工智能·cms·网站建设·网站制作·建站·站群cms
SarL EMEN4 小时前
Python大数据可视化:基于大数据技术的共享单车数据分析与辅助管理系统_flask+hadoop+spider
大数据·python·信息可视化