Spark:背压机制

 Spark1.5以前版本,用户如果想要限制Receiver的数据接收速率,可以通过设置静态配置参数"spark.streaming.receiver.maxRate"的值来实现,此举虽然可以通过限制接收速率,来适配当前的处理能力,防止内存溢出,但也会引入其他问题,比如:producer数据生产高于maxRate,当前集群处理能力也高于maxRate,这就会造成资源利用率下降等问题。

 为了更好的协调数据接收速率与资源处理能力,1.5版本开始SparkStreaming可以动态控制数据接收速率来适配集群数据处理能力,背压机制(Spark Streaming Backpressure):根据JobScheduler反馈作业的执行信息来动态调整Receiver数据接收率

 通过属性"spark.streaming.backpressure.enabled"来控制是否启用backpressure机制,默认值false,即不启用

相关推荐
熊野君14 分钟前
第 7 章 AI时代产品经理新增能力
大数据·人工智能·经验分享·职场和发展·产品经理
ha_lydms1 小时前
HDFS 简介
大数据·hadoop·hdfs·yarn·调度·aliyun·计算
oort1231 小时前
OortCloud Token Plan
大数据·人工智能·开源
Sky1987star1 小时前
产品资料更新后,怎样让 AI 内容与客服同步生效?
大数据·人工智能
flyinsono1 小时前
单体宠物诊所数字化转型,选对管理系统少走弯路
大数据·人工智能·宠物
cxr8281 小时前
AI时代科学研究思维框架的适应性分析与检查清单构建
大数据·人工智能·认知框架
大大大大晴天1 小时前
每天认识一个组件:统一 Shuffle 引擎Apache Uniffle
大数据
晶捷软件1 小时前
晶捷智能:集团型制造企业ERP如何实现多工厂统一管控
大数据·人工智能·python·制造
小岐AI观2 小时前
智赋岐黄能否嵌入机构现有业务体系?
大数据·人工智能·四诊仪·智赋岐黄·中医ai
和裕2 小时前
光伏储能定制加强型瓦楞纸箱:降低组件运输隐裂率与售后损耗的核心价值
大数据·运维·网络·人工智能·算法