flink的网络缓冲区

背景

在flink的taskmanager进行数据交互的过程中,网络缓冲区是一个可以提升网络交换速度的设计,此外,flink还通过网络缓冲区实现其基于信用值credit的流量控制,以便尽可能的处理数据倾斜问题

网络缓冲区

在flink中每个taskmanager都有两种类型的网络缓冲区,一个是发送网络缓冲区,一个是接收网络缓冲区,他们的大小都是32K,以下是示意图

我们在调优flink时,可以通过大概估算应用有多少个网络缓冲区,并且根据总的内存大小适当的调大或者调低每个网络缓冲区的大小以达到最佳性能。

顺便说一下: flink中基于信用值的流量控制是接收方根据每个发送方的消息堆积量来分配不同的流量信用值给发送方,比如给堆积比较多的发送方更多的信用值,以便它可以发送给接收方更多的数据,而对于堆积比较少的发送方,只提供给他们较低的信用值,这样就可以尽量的解决数据倾斜的问题了

相关推荐
Coder个人博客8 小时前
Linux6.19-ARM64 mm mmu子模块深入分析
大数据·linux·车载系统·系统架构·系统安全·鸿蒙系统
chian-ocean12 小时前
深入 CANN:使用 `tbe-op` 构建自定义高性能算子
网络
中议视控12 小时前
可编程网络中央控制系统主机通过红外发射棒控制空调电视等红外设备
网络·物联网·5g
财经三剑客13 小时前
AI元年,春节出行安全有了更好的答案
大数据·人工智能·安全
岁岁种桃花儿13 小时前
Flink CDC从入门到上天系列第一篇:Flink CDC简易应用
大数据·架构·flink
数据安全科普王13 小时前
打破中心枷锁:P2P网络如何用“去中心化”重构互联网通信
网络·去中心化·p2p
TOPGUS13 小时前
谷歌SEO第三季度点击率趋势:榜首统治力的衰退与流量的去中心化趋势
大数据·人工智能·搜索引擎·去中心化·区块链·seo·数字营销
爱吃烤鸡翅的酸菜鱼13 小时前
CANN ops-nn激活函数与池化算子深度解析
网络·开源·aigc
2501_9336707914 小时前
2026 高职大数据与会计专业零基础能考的证书有哪些?
大数据
ClouderaHadoop14 小时前
CDH集群机房搬迁方案
大数据·hadoop·cloudera·cdh