Spark:背压机制

Spark1.5以前版本,用户如果想要限制Receiver的数据接收速率,可以通过设置静态配置参数"spark.streaming.receiver.maxRate"的值来实现,此举虽然可以通过限制接收速率,来适配当前的处理能力,防止内存溢出,但也会引入其他问题,比如:producer数据生产高于maxRate,当前集群处理能力也高于maxRate,这就会造成资源利用率下降等问题。

为了更好的协调数据接收速率与资源处理能力,1.5版本开始SparkStreaming可以动态控制数据接收速率来适配集群数据处理能力,背压机制(Spark Streaming Backpressure):根据JobScheduler反馈作业的执行信息来动态调整Receiver数据接收率

通过属性"spark.streaming.backpressure.enabled"来控制是否启用backpressure机制,默认值false,即不启用

相关推荐
中科岩创23 分钟前
河北某铁矿绿色矿山建设二期自动化监测项目
大数据
java水泥工4 小时前
基于Echarts+HTML5可视化数据大屏展示-物流大数据展示
大数据·前端·echarts·html5·可视化大屏
paperxie_xiexuo4 小时前
学术与职场演示文稿的结构化生成机制探析:基于 PaperXie AI PPT 功能的流程解构与适用性研究
大数据·数据库·人工智能·powerpoint
汤姆yu4 小时前
基于大数据的出行方式推荐系统
大数据·出行方式推荐
bigdata-rookie5 小时前
Spark 部署模式
大数据·分布式·spark
芝麻开门-新起点5 小时前
贝壳GIS数据存储与房屋3D展示技术解析
大数据
玖日大大6 小时前
Gemini 3 全维度技术解析:从认知到落地实战指南
大数据
蒋士峰DBA修行之路7 小时前
实验二十二 GaussDB分布式场景调优
分布式·gaussdb
little_xianzhong9 小时前
把一个本地项目导入gitee创建的仓库中
大数据·elasticsearch·gitee