七、Kafka源码分析之网络通信

1、生产者网络设计

架构设计图

2、生产者消息缓存机制

1、RecordAccumulator

将消息缓存到RecordAccumulator收集器中, 最后判断是否要发送。这个加入消息收集器,首先得从 Deque 里找到自己的目标分区,如果没有就新建一个批量消息 Deque 加进入

2、消息发送时机

如果达到发送阈值(批次发送的条件为:缓冲区数据大小达到 batch.size 或者 linger.ms 达到上限,哪个先达到就算哪个),唤醒Sender线程,

NetWorkClient 将 batch record 转换成 request client 的发送消息体, 并将待发送的数据按 【Broker Id <=> List】的数据进行归类

与服务端不同的 Broker 建立网络连接,将对应 Broker 待发送的消息 List 发送出去。

9)、

经过几轮跳转

3、Kafka通讯组件解析

相关推荐
ezreal_pan1 小时前
kafka消费能力压测:使用官方工具
分布式·kafka
宽带你的世界1 小时前
TiDB 是一个分布式 NewSQL 数据库
数据库·分布式·tidb
xiao-xiang1 小时前
kafka-集群缩容
分布式·kafka
比花花解语1 小时前
Kafka在Windows系统使用delete命令删除Topic时出现的问题
windows·分布式·kafka
解决方案工程师1 小时前
【Kafka】Kafka高性能解读
分布式·kafka
yellowatumn1 小时前
RocketMq\Kafka如何保障消息不丢失?
分布式·kafka·rocketmq
python资深爱好者1 小时前
什么容错性以及Spark Streaming如何保证容错性
大数据·分布式·spark
HeartRaindj3 小时前
【中间件开发】kafka使用场景与设计原理
分布式·中间件·kafka
明达技术4 小时前
探索分布式 IO 模块网络适配器
分布式
Ray.19984 小时前
优化 Flink 消费 Kafka 数据的速度:实战指南
大数据·flink·kafka