Spark:背压机制

 Spark1.5以前版本,用户如果想要限制Receiver的数据接收速率,可以通过设置静态配置参数"spark.streaming.receiver.maxRate"的值来实现,此举虽然可以通过限制接收速率,来适配当前的处理能力,防止内存溢出,但也会引入其他问题,比如:producer数据生产高于maxRate,当前集群处理能力也高于maxRate,这就会造成资源利用率下降等问题。

 为了更好的协调数据接收速率与资源处理能力,1.5版本开始SparkStreaming可以动态控制数据接收速率来适配集群数据处理能力,背压机制(Spark Streaming Backpressure):根据JobScheduler反馈作业的执行信息来动态调整Receiver数据接收率

 通过属性"spark.streaming.backpressure.enabled"来控制是否启用backpressure机制,默认值false,即不启用

相关推荐
雪碧聊技术7 小时前
Badge 应用场景与落地实践指南
大数据·人工智能
望江东浪8 小时前
我的 Claude Code 效率工具全套配置分享
大数据·elasticsearch·搜索引擎
chaoyuanl9 小时前
现有游乐设施 XR 数字化升级改造方案
大数据·科技·3d·xr·娱乐
LL334455679 小时前
创业自动化平台怎么选
大数据·人工智能
珠海西格电力10 小时前
云边端协同架构:零碳园区管理系统的技术底座
大数据·运维·人工智能·算法·架构·能源
cc57250265311 小时前
大数据专业是不是热门专业
大数据
汇策研习社11 小时前
StdDev标准差指标深度解析:量化市场波动的核心工具
大数据·经验分享·金融·区块链·fastbull
大大大大晴天12 小时前
Hudi技术内幕: Concurrency Control原理与实践
大数据
阿里云大数据AI技术13 小时前
DataWorks Data Agent 实战课堂(一):解锁你的7×24h全能“数据搭子”DataWorks AI助理!
大数据·人工智能·agent
SelectDB13 小时前
美团数十 PB 规模 Apache Doris 实践:从统一 OLAP 到 AI-Native 数据基座
大数据·数据库·性能优化