flink的网络缓冲区

背景

在flink的taskmanager进行数据交互的过程中,网络缓冲区是一个可以提升网络交换速度的设计,此外,flink还通过网络缓冲区实现其基于信用值credit的流量控制,以便尽可能的处理数据倾斜问题

网络缓冲区

在flink中每个taskmanager都有两种类型的网络缓冲区,一个是发送网络缓冲区,一个是接收网络缓冲区,他们的大小都是32K,以下是示意图

我们在调优flink时,可以通过大概估算应用有多少个网络缓冲区,并且根据总的内存大小适当的调大或者调低每个网络缓冲区的大小以达到最佳性能。

顺便说一下: flink中基于信用值的流量控制是接收方根据每个发送方的消息堆积量来分配不同的流量信用值给发送方,比如给堆积比较多的发送方更多的信用值,以便它可以发送给接收方更多的数据,而对于堆积比较少的发送方,只提供给他们较低的信用值,这样就可以尽量的解决数据倾斜的问题了

相关推荐
数据猿10 分钟前
【金猿案例展】科技日报——大数据科技资讯服务平台
大数据·科技
写bug的小屁孩1 小时前
websocket身份验证
开发语言·网络·c++·qt·websocket·网络协议·qt6.3
chenjingming6661 小时前
网络技术-定义配置ACL规则的语法和命令
网络
Dynadot_tech1 小时前
使用API有效率地管理Dynadot域名,列表形式查看账户whois联系人信息
网络·api·域名注册·dynadot
网安-轩逸2 小时前
【网络安全】身份认证
网络·安全·web安全
石牌桥网管2 小时前
OpenWrt广播DNS到客户端
网络·openwrt
Matrix702 小时前
HBase理论_HBase架构组件介绍
大数据·数据库·hbase
想成为高手4993 小时前
网络基础概念与应用:深入理解计算机网络
网络·计算机网络
SeaTunnel3 小时前
我手搓了个“自动生成标书”的开源大模型工具
大数据
静听山水3 小时前
Flink CEP 入门
flink