flink的网络缓冲区

背景

在flink的taskmanager进行数据交互的过程中,网络缓冲区是一个可以提升网络交换速度的设计,此外,flink还通过网络缓冲区实现其基于信用值credit的流量控制,以便尽可能的处理数据倾斜问题

网络缓冲区

在flink中每个taskmanager都有两种类型的网络缓冲区,一个是发送网络缓冲区,一个是接收网络缓冲区,他们的大小都是32K,以下是示意图

我们在调优flink时,可以通过大概估算应用有多少个网络缓冲区,并且根据总的内存大小适当的调大或者调低每个网络缓冲区的大小以达到最佳性能。

顺便说一下: flink中基于信用值的流量控制是接收方根据每个发送方的消息堆积量来分配不同的流量信用值给发送方,比如给堆积比较多的发送方更多的信用值,以便它可以发送给接收方更多的数据,而对于堆积比较少的发送方,只提供给他们较低的信用值,这样就可以尽量的解决数据倾斜的问题了

相关推荐
真正的醒悟3 小时前
图解网络34
网络
Jackeyzhe4 小时前
Flink学习笔记:状态后端
flink
IT·小灰灰8 小时前
告别“翻墙“烦恼:DMXAPI让Gemini-3-pro-thinking调用快如闪电
网络·人工智能·python·深度学习·云计算
任子菲阳9 小时前
学Java第五十六天——网络编程
网络
武子康9 小时前
大数据-184 Elasticsearch Doc Values 机制详解:列式存储如何支撑排序/聚合/脚本
大数据·后端·elasticsearch
程序员zgh9 小时前
常用通信协议介绍(CAN、RS232、RS485、IIC、SPI、TCP/IP)
c语言·网络·c++
expect7g9 小时前
Paimon源码解读 -- Compaction-8.专用压缩任务
大数据·后端·flink
小汐睡着了10 小时前
解决虚拟机VMware与宿主机网络不通的问题-error
linux·网络·redhat
Heart_to_Yang11 小时前
Telnet 调试屏幕输出信息卡死问题解决
网络·windows·经验分享
资料库0111 小时前
华为OSPF详解
网络·华为