Spark:背压机制

Spark1.5以前版本,用户如果想要限制Receiver的数据接收速率,可以通过设置静态配置参数"spark.streaming.receiver.maxRate"的值来实现,此举虽然可以通过限制接收速率,来适配当前的处理能力,防止内存溢出,但也会引入其他问题,比如:producer数据生产高于maxRate,当前集群处理能力也高于maxRate,这就会造成资源利用率下降等问题。

为了更好的协调数据接收速率与资源处理能力,1.5版本开始SparkStreaming可以动态控制数据接收速率来适配集群数据处理能力,背压机制(Spark Streaming Backpressure):根据JobScheduler反馈作业的执行信息来动态调整Receiver数据接收率

通过属性"spark.streaming.backpressure.enabled"来控制是否启用backpressure机制,默认值false,即不启用

相关推荐
Elastic 中国社区官方博客2 小时前
使用真实 Elasticsearch 进行高级集成测试
大数据·数据库·elasticsearch·搜索引擎·全文检索·jenkins·集成测试
一张假钞3 小时前
Spark SQL读写Hive Table部署
hive·sql·spark
好记性+烂笔头3 小时前
4 Spark Streaming
大数据·ajax·spark
圣心4 小时前
Kafka 使用说明(kafka官方文档中文)
分布式·kafka·linq
圣心4 小时前
Kafka中文文档
分布式·kafka
gentle coder5 小时前
Redis_Redission的入门案例、多主案例搭建、分布式锁进行加锁、解锁底层源码解析
java·redis·分布式
大秦王多鱼5 小时前
Kafka SASL/PLAIN介绍
分布式·安全·kafka
苏苏大大5 小时前
Kafka下载
分布式·kafka
好记性+烂笔头6 小时前
3 Flink 运行架构
大数据·架构·flink
字节侠6 小时前
Flink2支持提交StreamGraph到Flink集群
大数据·flink·streamgraph·flink2·jobgraph