kafka学习笔记--生产者消息发送及原理

本文内容来自尚硅谷B站公开教学视频,仅做个人总结、学习、复习使用,任何对此文章的引用,应当说明源出处为尚硅谷,不得用于商业用途。

如有侵权、联系速删

视频教程链接:【尚硅谷】Kafka3.x教程(从入门到调优,深入全面)

发送的目的就一个,将消息发到kafka集群里,整体流程如下:

如上图,首先要有一个发送消息的主线程,也就是main线程,然后有一个读取数据的线程sender,所有的消息先经过拦截器(一般不用,因为大数据体系中,使用flume充当拦截器更加方便),然后抵达序列化器,最后抵达分区器,然后发送消息

为什么一般不用Java的序列化器?

Java的序列化过于笨重,一条消息要附带很多比如安全等功能的额外信息,大数据场景下,这些额外信息的负担太重,通常在spark、flink等框架中我们会自己实现序列化

分区器会在内存中,为每一个kafka分区创建一个双端队列,方便消息的管理,分区器大小为默认32M,每个队列在数据达到16k时,由sender线程读取,当然长时间达不到16k数据的队列,也会每隔一段时间(默认0ms)发送一次,采用默认策略则意味着每条消息都发送,在大数据场景下,应当灵活调整

队列数据累加上限的参数与等待发送时长的两个参数为:batch.size,linger.ms

这里其实是创建了一个32M大小的临时内存池,数据添加到队列就是内存池分配内存的过程,发送成功后清理数据,就是内存回归到内存池的过程

达到拉取条件(16k或时长)的数据,sender线程会主动从分区器内存空间中拉取数据,为每一个节点创建一个请求队列,队列中最多等待5个请求,发送到kafka集群,kafka给予应答回应

如果发送成功,则关闭、清理该请求,同时清理掉分区器队列中相应的数据

如果发送失败,则重试发送,直到重试到设定的次数为止(默认重试次数为int最大值)

应答级别分三种:

0:生产者发来的消息立即应答,不需要等到落盘

1:生产者发来的消息,等到leader收到数据后应答

-1:生产者发来的消息,等到leader和备份的所有节点都收到再应答

相关推荐
老当益壮梁奶奶23 分钟前
Linux软件编程学习笔记(二)Linux文件IO编程入门:从fopen到fgetc
linux·c语言·c++·笔记·学习
sunoo-22923 分钟前
C 语言文件 IO 全攻略:从基础函数到实战踩坑(BMP 读取 + 词典查询)
linux·c语言·前端·笔记·vscode·学习
蒸蒸yyyyzwd1 小时前
cpp选手秋招学习笔记 day12
笔记·学习·oracle
Wang's Blog1 小时前
PostgreSQL笔记38:慢查询定位与优化的系统方法论
数据库·笔记·postgresql
GeekPlusA1 小时前
ai-opendesign学习
学习
XiaQ09191 小时前
Linux 常用命令学习笔记(用户管理篇):用户、组与权限的钥匙
linux·开发语言·笔记·学习
He BianGu1 小时前
【笔记】使用Assembly.LoadFrom和AssemblyLoadContext加载插件对比,以及有没有更合适的加载插件方案
笔记
hhwyqwqhhwy1 小时前
正点原子-ZYNQ7020 开发笔记
笔记
LuminousCPP2 小时前
栈和队列专题(四):LeetCode 232. 用栈实现队列|双栈分工 + 按需迁移 + 摊还 O(1)
c语言·数据结构·笔记·算法·leetcode
海兰2 小时前
【Kafka进阶4】KRaft 完全指南:Apache Kafka 摆脱 ZooKeeper 的架构
zookeeper·kafka·apache