Flink-反压-1.基本概念

1.为什么会存在反压

反压是很常见的情况,如下图

  • 生产者:每s生产2MB数据
  • 消费者:每s消费1MB数据

在生产者和消费者之间又存在一个缓冲区,为了缓解这个差值的,但是如果一致存在差值,迟早有一天,缓冲区会满,到时候会引发严重的溢出问题

因此,我们为了解决这个问题,需要在中间加一个速度控制器,你可以理解为是变压器,把高压变为低压,Flink有2种解决方案

  1. 静态限速(1.5前)
  2. 动态反馈(1.5后)

2.TCP-based反压--静态限速

这是早期Flink版本基于TCP去做的处理,我们都知道类似storm、spark、zookeeper都有一个机制就是feedback,而TCP天然具备feedback机制,因此Flink早期用它做反压 简单看一下他的原理(不重要)

我们看得出来,整个静态窗口的机制还存在很大的不足,比如缓存区满了,就只能消费1个后,才能生产1个

3.反压信息的传播

(1) 几个组件的概念

  • ResultPartition:简称RSP ,生产者的数据输出 "分区",是数据发送的逻辑单元,其中ResultSubPartition 是细分,实际存储待发送数据的缓冲区,用于写
  • InputGate:简称IC,消费者的数据输入 "门",用于读 ,聚合多个输入通道(InputChannel )的数据,其中InputChannel 是单个数据通道,对应上游一个 ResultSubpartition
  • LocalBufferPool:简称LBP ,为当前 TaskManager 内的任务提供 本地缓冲区,临时存放待发送的数据。
  • NetworkBufferPool:简称NBP ,Flink 全局的 跨 TaskManager 网络缓冲区,用于在网络传输前暂存数据。

反压的前提:

  1. IC满了
  2. LBP满了
  3. NBP满了

(2) 跨TM的反压

(3) TM内的反压

4.Credit-based反压---动态反馈

在TCP反压版本优缺点的情况下,Flink选择自己实现一个feedback机制,credit可以类比TCP的窗口,原理如下图 原理就是下面几点

  1. 下游算子根据其可用缓冲区数量和处理能力计算信用值Credit(这是动态更新的),然后发送给上游算子
  2. 上游算子根据Credit去发送数据(只能<=Credit的值)
  3. 当下游可用缓冲区数量都满了,Credit降为0了,通知上游触发反压
  4. 上游开始反压,停止RS的写入
相关推荐
云起SAAS1 小时前
手机靓号选号商城H5源码 完整前后台可直接运行
前端·javascript·后端
the局外人2 小时前
Python 实战检索优化:BM25、向量与重排
数据库·后端·python
苏三说技术2 小时前
分库分表要被淘汰了?
后端
__underline__2 小时前
冷门Python知识点006篇:Python 类体里的名字,能被"凭空造出来"
后端·python
nice_lcj5202 小时前
【从零理解计算机网络 · 05】TCP 四次挥手:为什么挥手要四次、TIME_WAIT 在等什么
后端·tcp/ip·计算机网络·面试·tcp·四次挥手·time_wait
Moment2 小时前
RSI 是怎样让 AI 改进自己的 ❓❓❓
前端·后端·面试
Cosolar2 小时前
从 50ms 到 3 分钟:淘特动线 Agent 如何把 LLM 塞进一个有预算约束的实时系统
人工智能·后端·agent
Cosolar2 小时前
拆开「研发数字人」:一个 Agent 系统真正的护城河,是被结构化的判断力
人工智能·后端·架构
cong_3 小时前
🐟 我把摸鱼岛重写了!现在群聊还能装进一张表格
前端·后端·github
nice_lcj5204 小时前
【从零理解计算机网络 · 04】TCP 三次握手:为什么恰好是三次
java·后端·tcp/ip·计算机网络·面试·tcp·三次握手