flink的网络缓冲区

背景

在flink的taskmanager进行数据交互的过程中,网络缓冲区是一个可以提升网络交换速度的设计,此外,flink还通过网络缓冲区实现其基于信用值credit的流量控制,以便尽可能的处理数据倾斜问题

网络缓冲区

在flink中每个taskmanager都有两种类型的网络缓冲区,一个是发送网络缓冲区,一个是接收网络缓冲区,他们的大小都是32K,以下是示意图

我们在调优flink时,可以通过大概估算应用有多少个网络缓冲区,并且根据总的内存大小适当的调大或者调低每个网络缓冲区的大小以达到最佳性能。

顺便说一下: flink中基于信用值的流量控制是接收方根据每个发送方的消息堆积量来分配不同的流量信用值给发送方,比如给堆积比较多的发送方更多的信用值,以便它可以发送给接收方更多的数据,而对于堆积比较少的发送方,只提供给他们较低的信用值,这样就可以尽量的解决数据倾斜的问题了

相关推荐
Jabes.yang30 分钟前
Java面试场景:从Spring Web到Kafka的音视频应用挑战
大数据·spring boot·kafka·spring security·java面试·spring webflux
Hello.Reader1 小时前
Flink 第三方序列化Kryo 注册、Protobuf/Thrift 接入与坑位避雷
大数据·flink
板凳坐着晒太阳1 小时前
Flink-Kafka 连接器的 Checkpoint 与 Offset 管理机制
flink·kafka·offset·checkpoint
斯普信专业组1 小时前
使用Reindex迁移Elasticsearch集群数据详解(下)
大数据·elasticsearch
阿里云大数据AI技术2 小时前
云栖实录|MaxCompute全新升级:AI时代的原生数据仓库
大数据·数据库·云原生
asdfg12589633 小时前
如何判断一个地址是否可以用作主机 IP 地址?
服务器·网络·tcp/ip
爱吃甜品的糯米团子3 小时前
Linux 学习笔记之进程管理、网络基础与常用软件安装
linux·网络·学习
迷枫7124 小时前
19.1 TCP 和 UDP 有什么区别?
网络·tcp/ip·udp
QYResearch4 小时前
导航浮标灯市场现状及前景分析
大数据
QYResearch4 小时前
2025年全球半导体用电子湿化学品行业总体规模、主要企业国内外市场占有率及排名
大数据