Spark:背压机制

Spark1.5以前版本,用户如果想要限制Receiver的数据接收速率,可以通过设置静态配置参数"spark.streaming.receiver.maxRate"的值来实现,此举虽然可以通过限制接收速率,来适配当前的处理能力,防止内存溢出,但也会引入其他问题,比如:producer数据生产高于maxRate,当前集群处理能力也高于maxRate,这就会造成资源利用率下降等问题。

为了更好的协调数据接收速率与资源处理能力,1.5版本开始SparkStreaming可以动态控制数据接收速率来适配集群数据处理能力,背压机制(Spark Streaming Backpressure):根据JobScheduler反馈作业的执行信息来动态调整Receiver数据接收率

通过属性"spark.streaming.backpressure.enabled"来控制是否启用backpressure机制,默认值false,即不启用

相关推荐
字节数据平台9 小时前
评测也很酷,Data Agent 自动化评测的三层框架与实战
大数据
Elastic 中国社区官方博客9 小时前
Elasticsearch:圣诞晚餐 BBQ - 图像识别
大数据·数据库·elasticsearch·搜索引擎·ai·全文检索
Macbethad9 小时前
数据挖掘实战项目:用户行为分析模型技术报告
大数据
LINGYI00010 小时前
品牌电商全域代运营公司——简述
大数据·全域电商
努力成为一个程序猿.10 小时前
1.ElasticSearch单节点部署
大数据·elasticsearch·搜索引擎
渲吧-云渲染12 小时前
概念解码:PDM、PLM与ERP——厘清边界,深化协作,驱动制造数字化升级
大数据·制造
2501_9411481513 小时前
从边缘节点到云端协同的分布式缓存一致性实现原理实践解析与多语言代码示例分享笔记集录稿
笔记·分布式·物联网·缓存
建群新人小猿14 小时前
陀螺匠企业助手-我的日程
android·大数据·运维·开发语言·容器
云和数据.ChenGuang14 小时前
git commit复合指令
大数据·git·elasticsearch
尋有緣15 小时前
力扣614-二级关注者
大数据·数据库·sql·oracle