Spark:背压机制

 Spark1.5以前版本,用户如果想要限制Receiver的数据接收速率,可以通过设置静态配置参数"spark.streaming.receiver.maxRate"的值来实现,此举虽然可以通过限制接收速率,来适配当前的处理能力,防止内存溢出,但也会引入其他问题,比如:producer数据生产高于maxRate,当前集群处理能力也高于maxRate,这就会造成资源利用率下降等问题。

 为了更好的协调数据接收速率与资源处理能力,1.5版本开始SparkStreaming可以动态控制数据接收速率来适配集群数据处理能力,背压机制(Spark Streaming Backpressure):根据JobScheduler反馈作业的执行信息来动态调整Receiver数据接收率

 通过属性"spark.streaming.backpressure.enabled"来控制是否启用backpressure机制,默认值false,即不启用

相关推荐
逐米时代41 分钟前
工厂数字化规划:BIM与仿真让方案可验证
大数据·网络·人工智能
jikemaoshiyanshi1 小时前
Amazon Bedrock 和 SageMaker Inference 分别适合哪些企业大模型部署场景?
大数据·人工智能
汉知宝科技1 小时前
专利管理软件的监控功能:从专利公开到情报获取
大数据·运维
合合技术团队2 小时前
合合信息携手中科软发布智能化方案,推动AI融入保险理赔、核保与风控多节点
大数据·人工智能·文档智能·数据智能
zyplayer-doc2 小时前
核心制度不该被随手修改:用zyplayer-doc锁定文档和全部子文档
大数据·数据库·人工智能·笔记·pdf·ocr
数据百晓通2 小时前
2026 数智化选型白皮书:全赛道商业 ChatBI 深度解析
大数据·人工智能·microsoft
2401_865261632 小时前
亦唐科技(YIKTONG):驱动国产贴片机迈向智能化未来
大数据·人工智能
蓝胖的四次元口袋2 小时前
分布式知识梳理(2)
分布式
jikemaoshiyanshi11 小时前
AWS 中国峰会 2026 有哪些 AI Agent 相关演讲可以看?按业务、研发与生产阶段选看
大数据·人工智能
神王宝宝 王者小学11 小时前
HBase: 看上去很美
大数据·数据库·hbase