Spark:背压机制

Spark1.5以前版本,用户如果想要限制Receiver的数据接收速率,可以通过设置静态配置参数"spark.streaming.receiver.maxRate"的值来实现,此举虽然可以通过限制接收速率,来适配当前的处理能力,防止内存溢出,但也会引入其他问题,比如:producer数据生产高于maxRate,当前集群处理能力也高于maxRate,这就会造成资源利用率下降等问题。

为了更好的协调数据接收速率与资源处理能力,1.5版本开始SparkStreaming可以动态控制数据接收速率来适配集群数据处理能力,背压机制(Spark Streaming Backpressure):根据JobScheduler反馈作业的执行信息来动态调整Receiver数据接收率

通过属性"spark.streaming.backpressure.enabled"来控制是否启用backpressure机制,默认值false,即不启用

相关推荐
一只小青团16 分钟前
Hadoop之HDFS
大数据·hadoop·分布式
ITVV17 分钟前
hadoop-3.4.1 单机伪部署
大数据·linux·hadoop
小杜谈数42 分钟前
企业BI建议--数据治理平台
大数据
西岭千秋雪_1 小时前
Kafka安装和使用
java·分布式·kafka·java-zookeeper
谅望者1 小时前
数据分析笔记07:Python编程语言介绍
大数据·数据库·笔记·python·数据挖掘·数据分析
qq_281317473 小时前
Kafka
分布式·kafka
中国国际健康产业博览会4 小时前
2026第35届中国国际健康产业博览会探索健康与科技的完美结合!
大数据·人工智能
Lansonli5 小时前
大数据Spark(七十三):Transformation转换算子glom和foldByKey使用案例
大数据·分布式·spark
中电金信5 小时前
2025新加坡金融科技节:看AI驱动的金融转型策略与“中国方案”
大数据·人工智能·金融
明达智控技术8 小时前
MR30分布式I/O模块服务换热站项目,守护万家温暖
分布式·物联网·自动化