Spark:背压机制

Spark1.5以前版本,用户如果想要限制Receiver的数据接收速率,可以通过设置静态配置参数"spark.streaming.receiver.maxRate"的值来实现,此举虽然可以通过限制接收速率,来适配当前的处理能力,防止内存溢出,但也会引入其他问题,比如:producer数据生产高于maxRate,当前集群处理能力也高于maxRate,这就会造成资源利用率下降等问题。

为了更好的协调数据接收速率与资源处理能力,1.5版本开始SparkStreaming可以动态控制数据接收速率来适配集群数据处理能力,背压机制(Spark Streaming Backpressure):根据JobScheduler反馈作业的执行信息来动态调整Receiver数据接收率

通过属性"spark.streaming.backpressure.enabled"来控制是否启用backpressure机制,默认值false,即不启用

相关推荐
喝养乐多长不高2 小时前
RabbitMQ:应用问题
分布式·rabbitmq
SelectDB2 小时前
深入理解 Doris Variant:如何让 JSON 查询性能追平列存,还能承载万列索引字段?|Deep Dive
大数据·数据库·数据分析
全知科技2 小时前
AI赋能数据分类分级,迈向智能化数据治理
大数据·人工智能
Macbethad2 小时前
使用WPF编写一个多维度伺服系统的程序
大数据·hadoop·wpf
青云交2 小时前
Java 大视界 -- Java 大数据机器学习模型在电商用户画像构建与精准营销中的应用
java·大数据·机器学习·电商·协同过滤·用户画像·精准营销
回家路上绕了弯3 小时前
接口 QPS 从 100 飙到 1000?从应急到根治的全流程优化方案
分布式·后端
象象翔3 小时前
服务异步通讯---rabbitmq的高级特性
分布式·rabbitmq
UMI赋能企业4 小时前
智能决策引擎助力科技企业转型升级
大数据·人工智能
bigdata-rookie4 小时前
Flink Checkpoint 和 Spark Checkpoint 的区别
大数据·flink·spark