七、Kafka源码分析之网络通信

1、生产者网络设计

架构设计图

2、生产者消息缓存机制

1、RecordAccumulator

将消息缓存到RecordAccumulator收集器中, 最后判断是否要发送。这个加入消息收集器,首先得从 Deque 里找到自己的目标分区,如果没有就新建一个批量消息 Deque 加进入

2、消息发送时机

如果达到发送阈值(批次发送的条件为:缓冲区数据大小达到 batch.size 或者 linger.ms 达到上限,哪个先达到就算哪个),唤醒Sender线程,

NetWorkClient 将 batch record 转换成 request client 的发送消息体, 并将待发送的数据按 【Broker Id <=> List】的数据进行归类

与服务端不同的 Broker 建立网络连接,将对应 Broker 待发送的消息 List 发送出去。

9)、

经过几轮跳转

3、Kafka通讯组件解析

相关推荐
珍珠是蚌的眼泪几秒前
kafka
kafka·topic
太阳伞下的阿呆3 分钟前
kafka-clients之max.block.ms
分布式·kafka·消息队列
东方巴黎~Sunsiny5 分钟前
kafka可视化管理平台-kafka-console-ui
分布式·kafka
阑梦清川28 分钟前
RabbitMQ介绍和快速上手案例
分布式·rabbitmq·ruby
菜鸟分享录33 分钟前
RabbitMQ教程:工作队列(Work Queues)(二)
分布式·rabbitmq·ruby
叫我二蛋2 小时前
大数据技术之Hadoop :我是恁爹
大数据·hadoop·分布式
谢李由202303220812 小时前
Hadoop 学习心得
大数据·hadoop·分布式
qq_446598042 小时前
Hadoop高可用集群工作原理
大数据·hadoop·分布式
basic_code3 小时前
Docker部署Kafka集群,增加 SASL_SSL认证,并集成到Spring Boot,无Zookeeper版
spring boot·docker·kafka·kafka集群
songqq273 小时前
kafka和Flume的整合
分布式·kafka·flume