七、Kafka源码分析之网络通信

1、生产者网络设计

架构设计图

2、生产者消息缓存机制

1、RecordAccumulator

将消息缓存到RecordAccumulator收集器中, 最后判断是否要发送。这个加入消息收集器,首先得从 Deque 里找到自己的目标分区,如果没有就新建一个批量消息 Deque 加进入

2、消息发送时机

如果达到发送阈值(批次发送的条件为:缓冲区数据大小达到 batch.size 或者 linger.ms 达到上限,哪个先达到就算哪个),唤醒Sender线程,

NetWorkClient 将 batch record 转换成 request client 的发送消息体, 并将待发送的数据按 【Broker Id <=> List】的数据进行归类

与服务端不同的 Broker 建立网络连接,将对应 Broker 待发送的消息 List 发送出去。

9)、

经过几轮跳转

3、Kafka通讯组件解析

相关推荐
lang2015092828 分钟前
Logback MDC 实战:在分布式混沌中构建清晰的日志链路
分布式·logback
@土豆2 小时前
Kafka on Kubernetes 有状态应用部署文档(KRaft 模式)
分布式·kafka·kubernetes
肥猪猪爸2 小时前
数据库 2PC 极简流程图
java·数据库·分布式·mysql·分布式事务·2pc
斯普信专业组3 小时前
Kafka集群数据迁移方案:基于多Listener配置的集群迁移实践指南
分布式·kafka
only-qi4 小时前
RabbitMQ 深度解析:从架构原理到消息全链路可靠性保障
分布式·架构·rabbitmq
隔壁小邓5 小时前
TIDB分布式数据库
数据库·分布式·tidb
蜜獾云5 小时前
Kafka(2)-kafka架构-基本原理
分布式·架构·kafka
隔叶听风5 小时前
RocketMQ 与 Kafka 长轮询详解
数据库·kafka·rocketmq
IvanCodes5 小时前
二、Kafka核心架构与分布式存储
大数据·分布式·架构·kafka
indexsunny5 小时前
互联网大厂Java面试实录:Spring Boot与微服务在电商场景中的应用解析
java·spring boot·面试·kafka·spring security·电商·microservices