flink的网络缓冲区

背景

在flink的taskmanager进行数据交互的过程中,网络缓冲区是一个可以提升网络交换速度的设计,此外,flink还通过网络缓冲区实现其基于信用值credit的流量控制,以便尽可能的处理数据倾斜问题

网络缓冲区

在flink中每个taskmanager都有两种类型的网络缓冲区,一个是发送网络缓冲区,一个是接收网络缓冲区,他们的大小都是32K,以下是示意图

我们在调优flink时,可以通过大概估算应用有多少个网络缓冲区,并且根据总的内存大小适当的调大或者调低每个网络缓冲区的大小以达到最佳性能。

顺便说一下: flink中基于信用值的流量控制是接收方根据每个发送方的消息堆积量来分配不同的流量信用值给发送方,比如给堆积比较多的发送方更多的信用值,以便它可以发送给接收方更多的数据,而对于堆积比较少的发送方,只提供给他们较低的信用值,这样就可以尽量的解决数据倾斜的问题了

相关推荐
ha_lydms13 分钟前
AnalyticDB分区、分布键性能优化
android·大数据·分布式·性能优化·分布式计算·分区·analyticdb
dingzd9516 分钟前
跨境社媒运营越到后面 越比拼账号的表达稳定性
大数据·人工智能·矩阵·内容营销
嘉子的秃头日记1 小时前
TRO 2026|轮椅也能“猜到”用户想往哪走?
大数据·人工智能·机器学习
2601_957190901 小时前
极致裸眼沉浸!飞行影院重塑文旅游玩新体验
大数据·人工智能·旅游
智慧光迅AINOPOL2 小时前
校园在线巡课系统方案:督导全覆盖
网络·全光网解决方案·全光网·校园全光网·校园全光网解决方案
阿乔外贸日记2 小时前
埃塞俄比亚出口全流程注意事项
大数据·人工智能·智能手机·云计算·汽车
酉鬼女又兒2 小时前
零基础入门计算机网络:网络层核心任务、三大关键问题、两种服务类型与 TCP/IP 网际层协议体系全解析
服务器·网络·网络协议·tcp/ip·计算机网络·php·求职招聘
中讯慧通2 小时前
无人机靠什么实时传画面?图传电台传输数据全明细
大数据·机器人·无人机
Urbano2 小时前
工装制作全流程科普:从面料到自动化生产
网络·人工智能
2401_868534783 小时前
网规笔记 | 真题解析:2018年11月软考网规-网络安全案例分析
网络