Spark:背压机制

 Spark1.5以前版本,用户如果想要限制Receiver的数据接收速率,可以通过设置静态配置参数"spark.streaming.receiver.maxRate"的值来实现,此举虽然可以通过限制接收速率,来适配当前的处理能力,防止内存溢出,但也会引入其他问题,比如:producer数据生产高于maxRate,当前集群处理能力也高于maxRate,这就会造成资源利用率下降等问题。

 为了更好的协调数据接收速率与资源处理能力,1.5版本开始SparkStreaming可以动态控制数据接收速率来适配集群数据处理能力,背压机制(Spark Streaming Backpressure):根据JobScheduler反馈作业的执行信息来动态调整Receiver数据接收率

 通过属性"spark.streaming.backpressure.enabled"来控制是否启用backpressure机制,默认值false,即不启用

相关推荐
橙时数据 FineInsight1 小时前
AI 能回答数据问题,但能解释业务原因吗?
大数据·人工智能·数据分析·指标平台·fineinsight
lolijiaqi151 小时前
一线观察:长期体验后发现的医疗器械 CDMO 底层现象
大数据·python
Omics Pro1 小时前
Arc研究所Cell|全新虚拟细胞官方基准评测框架
大数据·人工智能·深度学习·算法·机器学习
SL-staff1 小时前
工业物联网中网关子设备数据通信盲区的排查与解决方法
大数据·物联网·工业物联网·数据映射·网关配置·规则联动·通信盲区
智购科技无人售货机厂家1 小时前
2026自动售货机备用电池管理系统设计:从充放电保护到健康监测的工程实践~YH
大数据·linux·单片机·嵌入式硬件·微信
一只鹿鹿鹿1 小时前
SCM流程图参考(PPT文件)
大数据·数据库·web安全·系统安全·流程图
麦豆GEO2 小时前
GEO优化流量密码:吃透4大用户提问模型,精准拿捏AI自然流量
大数据·人工智能
dh2711987792 小时前
南京企业AI搜索“可见度之战”:GEO服务商竞合格局与选型逻辑
大数据·人工智能
Qimooidea2 小时前
祁木 CAD Translator 新版系统级重构与速度跃升实战
大数据·重构
starzy19902 小时前
Flink基础之有界与无界流详解:批流一体的底层逻辑
大数据·flink