kafka发送消费核心参数与设计原理详解

核心参数详解:

发送端参数:

发送方式:默认值一般都是1:

重试参数 :

批量参数:

消费端参数:

自动提交参数:

如果是false,就是说消费完后不提交位移。也就是说比如之前消费的1-5.第N次还是消费到1-5.如果是false。那么第一次消费1-3,第二次消费4-5:默认是true:我们一般用false。因为会有消息丢失和消息重复消费的问题可能发生。那么我们就得手设置提交了:

比如我们设置了false,那么下面这个自动提交间隔参数就没用了。

同步提交和异步提交:

消费指定分区参数:

发消息的时候给分区0和1都发送消息了:

消费的时候只消费了0分区的:

消息回溯消费参数:

指定offset消费参数:

指定时间点消费参数:

这个参数:

这几个参数线上出问题的时候用得到:

心跳参数:

这个参数:

springboot整合kafka:

提交参数的配置可选项:

像这样:如果是上面配置的话 需要加上这个参数提交:

但是如果这里是batch:

就不需要手动提交,这个方法结束的时候,springboot会帮你提交:

这两个参数都是需要像上面那样在java代码里手动提交的:

原理:

进入到zk,就可以看到总控制器是broker0;这个controller节点是broker在启动的时候就创建的。谁先启动谁就是总控制器。但是是批量启动broke的话,那么就牵扯到ZK的ZAB协议选举来决定谁是总控制器了。

找的就是ISR的节点,按照这个顺序来作为新的leader

相关推荐
回家路上绕了弯1 小时前
外卖员重复抢单?从技术到运营的全链路解决方案
分布式·后端
忍冬行者2 小时前
Kafka 概念与部署手册
分布式·kafka
深蓝电商API2 小时前
爬虫+Redis:如何实现分布式去重与任务队列?
redis·分布式·爬虫·python
在未来等你3 小时前
Elasticsearch面试精讲 Day 28:版本升级与滚动重启
大数据·分布式·elasticsearch·搜索引擎·面试
AAA小肥杨9 小时前
基于k8s的Python的分布式深度学习训练平台搭建简单实践
人工智能·分布式·python·ai·kubernetes·gpu
爬山算法12 小时前
Redis(73)如何处理Redis分布式锁的死锁问题?
数据库·redis·分布式
yumgpkpm13 小时前
华为鲲鹏 Aarch64 环境下多 Oracle 、mysql数据库汇聚到Cloudera CDP7.3操作指南
大数据·数据库·mysql·华为·oracle·kafka·cloudera
祈祷苍天赐我java之术14 小时前
Redis 数据类型与使用场景
java·开发语言·前端·redis·分布式·spring·bootstrap
猫林老师16 小时前
HarmonyOS线程模型与性能优化实战
数据库·分布式·harmonyos
阿里云云原生17 小时前
AI 时代的数据通道:云消息队列 Kafka 的演进与实践
云原生·kafka