Spark:背压机制

Spark1.5以前版本,用户如果想要限制Receiver的数据接收速率,可以通过设置静态配置参数"spark.streaming.receiver.maxRate"的值来实现,此举虽然可以通过限制接收速率,来适配当前的处理能力,防止内存溢出,但也会引入其他问题,比如:producer数据生产高于maxRate,当前集群处理能力也高于maxRate,这就会造成资源利用率下降等问题。

为了更好的协调数据接收速率与资源处理能力,1.5版本开始SparkStreaming可以动态控制数据接收速率来适配集群数据处理能力,背压机制(Spark Streaming Backpressure):根据JobScheduler反馈作业的执行信息来动态调整Receiver数据接收率

通过属性"spark.streaming.backpressure.enabled"来控制是否启用backpressure机制,默认值false,即不启用

相关推荐
zdkdchao4 小时前
hbase资源和数据权限控制
大数据·数据库·hbase
归去_来兮5 小时前
知识图谱技术概述
大数据·人工智能·知识图谱
计算机毕设定制辅导-无忧学长5 小时前
Kafka 核心架构与消息模型深度解析(一)
分布式·架构·kafka
一弓虽5 小时前
zookeeper 学习
分布式·学习·zookeeper
yt948326 小时前
如何在IDE中通过Spark操作Hive
ide·hive·spark
青春之我_XP6 小时前
【基于阿里云搭建数据仓库(离线)】Data Studio创建资源与函数
大数据·数据仓库·sql·dataworks·maxcompute·data studio
predisw6 小时前
kafka consumer group rebalance
分布式·kafka
明达技术7 小时前
ProfiNet 分布式 IO 在某污水处理厂的应用
分布式
云道轩7 小时前
llm-d:面向Kubernetes的高性能分布式LLM推理框架
分布式·容器·kubernetes
FakeOccupational8 小时前
【p2p、分布式,区块链笔记 MESH】Bluetooth蓝牙通信拓扑与操作 BR/EDR(经典蓝牙)和 BLE
笔记·分布式·p2p