Flink-反压-1.基本概念

1.为什么会存在反压

反压是很常见的情况,如下图

  • 生产者:每s生产2MB数据
  • 消费者:每s消费1MB数据

在生产者和消费者之间又存在一个缓冲区,为了缓解这个差值的,但是如果一致存在差值,迟早有一天,缓冲区会满,到时候会引发严重的溢出问题

因此,我们为了解决这个问题,需要在中间加一个速度控制器,你可以理解为是变压器,把高压变为低压,Flink有2种解决方案

  1. 静态限速(1.5前)
  2. 动态反馈(1.5后)

2.TCP-based反压--静态限速

这是早期Flink版本基于TCP去做的处理,我们都知道类似storm、spark、zookeeper都有一个机制就是feedback,而TCP天然具备feedback机制,因此Flink早期用它做反压 简单看一下他的原理(不重要)

我们看得出来,整个静态窗口的机制还存在很大的不足,比如缓存区满了,就只能消费1个后,才能生产1个

3.反压信息的传播

(1) 几个组件的概念

  • ResultPartition:简称RSP ,生产者的数据输出 "分区",是数据发送的逻辑单元,其中ResultSubPartition 是细分,实际存储待发送数据的缓冲区,用于写
  • InputGate:简称IC,消费者的数据输入 "门",用于读 ,聚合多个输入通道(InputChannel )的数据,其中InputChannel 是单个数据通道,对应上游一个 ResultSubpartition
  • LocalBufferPool:简称LBP ,为当前 TaskManager 内的任务提供 本地缓冲区,临时存放待发送的数据。
  • NetworkBufferPool:简称NBP ,Flink 全局的 跨 TaskManager 网络缓冲区,用于在网络传输前暂存数据。

反压的前提:

  1. IC满了
  2. LBP满了
  3. NBP满了

(2) 跨TM的反压

(3) TM内的反压

4.Credit-based反压---动态反馈

在TCP反压版本优缺点的情况下,Flink选择自己实现一个feedback机制,credit可以类比TCP的窗口,原理如下图 原理就是下面几点

  1. 下游算子根据其可用缓冲区数量和处理能力计算信用值Credit(这是动态更新的),然后发送给上游算子
  2. 上游算子根据Credit去发送数据(只能<=Credit的值)
  3. 当下游可用缓冲区数量都满了,Credit降为0了,通知上游触发反压
  4. 上游开始反压,停止RS的写入
相关推荐
shinelord明38 分钟前
【大数据技术实战】流式计算 Flink~生产错误实战解析
大数据·架构·flink·实时计算·计算机技术
小蒜学长4 小时前
汽车专卖店管理系统的设计与实现(代码+数据库+LW)
java·数据库·spring boot·后端·汽车
FSHOW7 小时前
【独立开发日记】MQ端到端类型安全
前端·javascript·后端
柏油7 小时前
MySQL InnoDB 后台线程
数据库·后端·mysql
007php0077 小时前
Go 错误处理:用 panic 取代 err != nil 的模式
java·linux·服务器·后端·ios·golang·xcode
绝无仅有8 小时前
Go 面试题: new 和 make 是什么,差异在哪?
后端·面试·github
绝无仅有9 小时前
go语言面试之Goroutine 数量控制, GC回收 和任务调度
后端·面试·github
C++chaofan10 小时前
Spring Task快速上手
java·jvm·数据库·spring boot·后端·spring·mybatis
星星点点洲11 小时前
【Golang】 项目启动方法
开发语言·后端·golang