flink的网络缓冲区

背景

在flink的taskmanager进行数据交互的过程中,网络缓冲区是一个可以提升网络交换速度的设计,此外,flink还通过网络缓冲区实现其基于信用值credit的流量控制,以便尽可能的处理数据倾斜问题

网络缓冲区

在flink中每个taskmanager都有两种类型的网络缓冲区,一个是发送网络缓冲区,一个是接收网络缓冲区,他们的大小都是32K,以下是示意图

我们在调优flink时,可以通过大概估算应用有多少个网络缓冲区,并且根据总的内存大小适当的调大或者调低每个网络缓冲区的大小以达到最佳性能。

顺便说一下: flink中基于信用值的流量控制是接收方根据每个发送方的消息堆积量来分配不同的流量信用值给发送方,比如给堆积比较多的发送方更多的信用值,以便它可以发送给接收方更多的数据,而对于堆积比较少的发送方,只提供给他们较低的信用值,这样就可以尽量的解决数据倾斜的问题了

相关推荐
Raas10012 小时前
MAIGateway,魔芋企业级AI网关的FinAPI成本归因设计
大数据·人工智能·网关·api网关·finapi
RD_daoyi13 小时前
Google核心算法不再通知!全年持续滚动更新
大数据·服务器·前端·网络·搜索引擎·.net
2601_9629666413 小时前
会计岗位进阶指南:8 张国家认可证书阶梯解析
大数据·数据分析
科技绘图13 小时前
特种工业场景安全升级:UWB定位设备关键选型指标与供给侧格局解析
大数据·安全
Wang's Blog13 小时前
AI Agent白手起家28: LangChain 五种提示词模板实战解析
大数据·人工智能·langchain
小码哥06813 小时前
2026陪诊小程序与APP开发技术分析
大数据·人工智能·小程序
观远数据13 小时前
决策闭环的第三公里:从洞察到行动之间,AI能补上什么
大数据·数据库·人工智能
联众合科技13 小时前
AF 防火墙与传统防火墙核心差异及新型威胁防御实测
网络·安全
三言老师14 小时前
free查看内存与缓存状态实操
运维·服务器·网络·centos
奥莱维14 小时前
酒店客控系统多少钱_2026不同规模报价区间透明解析
大数据·网络