Spark:背压机制

Spark1.5以前版本,用户如果想要限制Receiver的数据接收速率,可以通过设置静态配置参数"spark.streaming.receiver.maxRate"的值来实现,此举虽然可以通过限制接收速率,来适配当前的处理能力,防止内存溢出,但也会引入其他问题,比如:producer数据生产高于maxRate,当前集群处理能力也高于maxRate,这就会造成资源利用率下降等问题。

为了更好的协调数据接收速率与资源处理能力,1.5版本开始SparkStreaming可以动态控制数据接收速率来适配集群数据处理能力,背压机制(Spark Streaming Backpressure):根据JobScheduler反馈作业的执行信息来动态调整Receiver数据接收率

通过属性"spark.streaming.backpressure.enabled"来控制是否启用backpressure机制,默认值false,即不启用

相关推荐
AI营销快线8 分钟前
AI营销内容生产:1人如何玩转抖音、小红书内容矩阵
大数据·人工智能·机器学习
金融小师妹26 分钟前
基于NLP政策文本分析与多智能体博弈模拟的FOMC决策推演:“美联储传声筒”下的利率路径分歧
大数据·人工智能·深度学习·1024程序员节
5008427 分钟前
鸿蒙 Flutter 分布式硬件调用:跨设备摄像头 / 麦克风共享
分布式·flutter·华为·electron·wpf·开源鸿蒙
中维ZWPD30 分钟前
工程行业数智化转型:挑战与破局之路
大数据·人工智能·科技·物联网·3d
QYZL_AIGC32 分钟前
全域众链:模式革新驱动生态共赢
大数据·人工智能
Jerry9527062839 分钟前
1.什么式可用性
java·分布式·后端·架构·高可用·秒杀
相思半1 小时前
数据偏见去偏方法系统方法论学习(基础知识+实践运用)-新手友好版
大数据·人工智能·python·深度学习·机器学习·数据分析
代码方舟2 小时前
Python对接天远数据多头借贷API:AES加密解密、代码实现与数据深度解析
大数据·api
@YDWLCloud2 小时前
出海 APP 如何降低延迟?腾讯云国际版 GME 音视频深度评测
大数据·服务器·云计算·音视频·腾讯云
LeonIter2 小时前
国家按产业占比分类,我国纳入哪类?
大数据·人工智能