Spark:背压机制

Spark1.5以前版本,用户如果想要限制Receiver的数据接收速率,可以通过设置静态配置参数"spark.streaming.receiver.maxRate"的值来实现,此举虽然可以通过限制接收速率,来适配当前的处理能力,防止内存溢出,但也会引入其他问题,比如:producer数据生产高于maxRate,当前集群处理能力也高于maxRate,这就会造成资源利用率下降等问题。

为了更好的协调数据接收速率与资源处理能力,1.5版本开始SparkStreaming可以动态控制数据接收速率来适配集群数据处理能力,背压机制(Spark Streaming Backpressure):根据JobScheduler反馈作业的执行信息来动态调整Receiver数据接收率

通过属性"spark.streaming.backpressure.enabled"来控制是否启用backpressure机制,默认值false,即不启用

相关推荐
灰灰勇闯IT1 小时前
Flutter×鸿蒙深度融合指南:从跨端适配到分布式能力落地(2025最新实战)
分布式·flutter·harmonyos
BD_Marathon1 小时前
【Zookeeper】zk_客户端API_创建节点
分布式·zookeeper·云原生
BD_Marathon1 小时前
【Zookeeper】监听器原理
linux·分布式·zookeeper
无心水2 小时前
【分布式利器:分布式ID】5、UUID/GUID方案:无依赖实现,优缺点与场景选型
分布式·分库分表·uuid·分布式id·水平分库·分布式利器·guid
程序员皮皮林2 小时前
Redis:大数据中如何抗住2000W的QPS
大数据·数据库·redis
F***E2392 小时前
【分布式文件存储系统Minio】2024.12保姆级教程
分布式
武子康3 小时前
大数据-169 Elasticsearch 入门到可用:索引/文档 CRUD 与搜索最小示例
大数据·后端·elasticsearch
v***91303 小时前
PostgreSQL 中进行数据导入和导出
大数据·数据库·postgresql
i***71954 小时前
RabbitMQ 集群部署方案
分布式·rabbitmq·ruby
k***21604 小时前
RabbitMQ 客户端 连接、发送、接收处理消息
分布式·rabbitmq·ruby