Spark:背压机制

Spark1.5以前版本,用户如果想要限制Receiver的数据接收速率,可以通过设置静态配置参数"spark.streaming.receiver.maxRate"的值来实现,此举虽然可以通过限制接收速率,来适配当前的处理能力,防止内存溢出,但也会引入其他问题,比如:producer数据生产高于maxRate,当前集群处理能力也高于maxRate,这就会造成资源利用率下降等问题。

为了更好的协调数据接收速率与资源处理能力,1.5版本开始SparkStreaming可以动态控制数据接收速率来适配集群数据处理能力,背压机制(Spark Streaming Backpressure):根据JobScheduler反馈作业的执行信息来动态调整Receiver数据接收率

通过属性"spark.streaming.backpressure.enabled"来控制是否启用backpressure机制,默认值false,即不启用

相关推荐
千禧皓月3 分钟前
【C++】基于C++的RPC分布式网络通信框架(二)
c++·分布式·rpc
森语林溪20 分钟前
大数据环境搭建从零开始(十四)CentOS 7 系统更新源更换详解:阿里云镜像源配置完整指南
大数据·linux·运维·阿里云·centos
杂家2 小时前
Zookeeper完全分布式部署(超详细)
大数据·分布式·zookeeper
snakecy2 小时前
树莓派学习资料共享
大数据·开发语言·学习·系统架构
悠闲蜗牛�2 小时前
技术融合新纪元:深度学习、大数据与云原生的跨界实践
大数据·深度学习·云原生
雨点保护雪花2 小时前
15、RabbitMQ
分布式·rabbitmq
武子康2 小时前
大数据-147 Java 访问 Apache Kudu:从建表到 CRUD(含 KuduSession 刷新模式与多 Master 配置)
大数据·后端·nosql
snakecy3 小时前
信息系统项目管理师--论文case
大数据·学习·职场和发展·区块链
数据库安全4 小时前
世界互联网大会|美创科技无侵入数据安全多智体治理技术首发
大数据·人工智能·科技·数据安全
sniper-拒绝白嫖5 小时前
uniapp ios android 本地离线debug
大数据