Spark:背压机制

Spark1.5以前版本,用户如果想要限制Receiver的数据接收速率,可以通过设置静态配置参数"spark.streaming.receiver.maxRate"的值来实现,此举虽然可以通过限制接收速率,来适配当前的处理能力,防止内存溢出,但也会引入其他问题,比如:producer数据生产高于maxRate,当前集群处理能力也高于maxRate,这就会造成资源利用率下降等问题。

为了更好的协调数据接收速率与资源处理能力,1.5版本开始SparkStreaming可以动态控制数据接收速率来适配集群数据处理能力,背压机制(Spark Streaming Backpressure):根据JobScheduler反馈作业的执行信息来动态调整Receiver数据接收率

通过属性"spark.streaming.backpressure.enabled"来控制是否启用backpressure机制,默认值false,即不启用

相关推荐
科技观察3 分钟前
国产MATLAB替代软件的关键能力与生态发展现状
大数据·人工智能·matlab
梦里不知身是客1116 分钟前
flink任务的UI提交方式
大数据·ui·flink
数据智研32 分钟前
【数据分享】古丝绸之路路线矢量数据
大数据·信息可视化·数据分析
上海蓝色星球36 分钟前
打破BIM应用“花瓶”窘境:让模型“活”在业务场景中
大数据·人工智能
鲸采云SRM采购管理系统42 分钟前
SRM采购系统:鲸采云如何实现全链路管控
大数据·人工智能
亿信华辰软件1 小时前
从“数据资源”到“数据动能”,构建制造业增长新范式
大数据·人工智能
字节跳动开源1 小时前
首届 Apache Gluten 社区年度盛会 —— GlutenCon 2025 正式启动!
大数据·spark·线下活动
智慧化智能化数字化方案1 小时前
数据架构进阶——解读数据架构管理培训【附全文阅读】
大数据·架构·数据架构管理培训·企业it架构·it治理·it规划·it蓝图
雨大王5121 小时前
汽车产业链如何通过数字化平台实现研发协同升级
大数据·人工智能
知秋正在9962 小时前
ElasticSearch服务端报错:Unrecognized VM option ‘UseAVX=2‘
大数据·elasticsearch·jenkins