Kafka(三)Producer第二篇

一,生产者架构



生产者客户端由两个线程协调运行,分别为主线程和Sender线程(发送线程)。

  • 主线程:KafkaProducer创建消息,通过拦截器、序列化器和分区器之后缓存到消息收集器RecordAccumulator中;
  • Sender线程:从RecordAccumulator中获取消息并发送到Kafka集群;

1,RecordAccumulator

  • RecordAccumulator用来缓存消息以便Sender 线程批量发送,进而减少网络传输的资源消耗;
  • 消息会被追加到RecordAccumulator的某个双端队列中, 每个partition都维护了一个双端队列;
  • 双端队列内容是Deque<ProducerBatch>,ProducerBatch包含一至多个ProducerRecord;

2,主线程写入消息到RecordAccumulator
消息在发送之前会缓存在java.io.ByteBuffer的内存区域。RecordAccumulator的内部有一个BufferPool,用来实现ByteBuffer的复用,以实现缓存的高效利用。 BufferPool只对特定大小的ByteBuffer进行管理,而其他大小的ByteBuffer不会缓存进BufferPool中,这个大小由batch.size参数指定;
消息流入RecordAccumulator过程:

1,先寻找与partition对应的双端队列(如果没有则新建);
2,从这个双端队列的尾部获取一个ProducerBatch(如果没有则新建);
3,判断ProducerBatch中是否还可以写入这个ProducerRecord,如果可以则写入,如果不可以则创建一个新的ProducerBatch;
4,新建ProducerBatch时,评估这条消息的大小是否超过batch.size参数的大小:
a,如果不超过,那么就以 batch.size 的大小来创建ProducerBatch,这样在使用完这段内存区域之后,可以通过BufferPool的管理来进行复用;
b,如果超过,那么就以评估的大小来创建ProducerBatch,这段内存区域不会被复用。
3,Sender线程读取RecordAccumulator并发送

  1. Sender从RecordAccumulator中获取消息,会将原本<分区,Deque<ProducerBatch>>的形式转变成<Node,List<ProducerBatch>,其中Node表示Kafka集群的broker节点;
  2. Sender将消息进一步封装成<Node,Request>的形式,这样就可以将Request请求发往各个Node;
    3,Sender线程发送Request之前,请求还会保存到InFlightRequests(保存的形式为 Map<NodeId,Deque<Request>>,缓存了已经发出去但还没有收到响应的请求)中;
    InFlightRequests还可以获得leastLoadedNode,即所有Node中负载最小的那一个。负载最小是通过每个Node在InFlightRequests中 还未确认的请求决定的,未确认的请求越多则认为负载越大。
    选择leastLoadedNode发送请求可以使它能够尽快发出。

二,元数据的更新


元数据是指Kafka集群的元数据,包括主题、分区、副本分布、哪些副本在AR、ISR等集合、集群中有哪些节点、控制器节点又是哪一个等等。
元数据的更新操作是由Sender线程发起的,对客户端的外部使用者不可见。

相关推荐
久念祈3 小时前
C++ - 仿 RabbitMQ 实现消息队列--服务端核心模块实现(四)
分布式·rabbitmq
GEM的左耳返4 小时前
Java面试全攻略:Spring生态与微服务架构实战
spring boot·redis·spring cloud·微服务·kafka·java面试
白鹭8 小时前
基于LNMP架构的分布式个人博客搭建
linux·运维·服务器·网络·分布式·apache
不辉放弃8 小时前
kafka的消费者负载均衡机制
数据库·分布式·kafka·负载均衡
java叶新东老师10 小时前
三、搭建springCloudAlibaba2021.1版本分布式微服务-springcloud loadbalancer负载均衡
分布式·spring cloud·微服务
沉下去,苦磨练!12 小时前
kafka的部署和jmeter连接kafka
分布式·jmeter·kafka
shinelord明14 小时前
【计算机网络架构】网状型架构简介
大数据·分布式·计算机网络·架构·计算机科学与技术
物联网软硬件开发-轨物科技17 小时前
【轨物洞见】光伏逆变器数据:分布式电站价值回归的“第一块多米诺骨牌”
分布式
java叶新东老师18 小时前
四、搭建springCloudAlibaba2021.1版本分布式微服务-加入openFeign远程调用和sentinel流量控制
分布式·微服务·sentinel
java叶新东老师18 小时前
五、搭建springCloudAlibaba2021.1版本分布式微服务-gateway网关
分布式·微服务·gateway