学习kafka

一个存放消息的组件
生产者, 消费者, broker三部分

消息队列的两种模式

*生产者和消费者(消费者主动拉取信息,然后删除)

*发布订阅()

kafka基础架构 *一个topic有多个partition(副本(信息非全量),有分leader和follower)

*消费者组(只消费leader的)(一个分区一个消费者处理)

*zookeeper()

安装

修改broker id

修改ZK地址

修改数据存放路径

生产者原理:

流程:数据------缓存------集群

数据量先写道缓存 到达指定批次数量(batch) (默认16K),或等待时间(linger)(默认0秒)就发送

*可以异步发送

*可以异步发送回调

*同步发送

分区 *1有指定的-指定partution

*2有key的-根据key和toipc的partition数取余,

*3啥没有的-粘性分区(随机,批次满了或时间到在随机下一个)

怎么提高吞吐量

*加大批次(batch)(默认16K)

*等待时间(linger)(默认0

*压缩

*修改缓冲区大小(默认32M)

幂等性 :(无论发送多少次,都只保存一条)

去重性(最多一次)配置acks

可靠性(最少一次)

有序性(开启幂等性,或者设置单分区)

架构

消费者

broker
broker

topic

partition分区

可靠性(副本(leader,folloer))

生产者和消费者只对leader操

一个分区只有一个消费者

消费者

zookeeper
broker.ids

leader

辅助选举

生产者API

*send()异步发送

*可以回调可以实现同步

*批量发送设置(batch) (默认16K),或等待时间(linger)默认0 )

*配置acks

(acks=0或者1)最多一次(去重)

(acks=-1或者retries>0)最少一次(可靠)

消费者API可以自动提交 或者手动提交(单条或者批量提交)

支持事务y

隔离级别读未提交,读提交

相关推荐
承渊政道3 小时前
【Python编程—从入门到实践】(用户账户:给Django网站装上登录系统,让每个人拥有自己的学习笔记)
python·学习·pycharm·django
诗句藏于尽头3 小时前
游戏《完美神话》-使用Ai-agent进行修复已停服游戏到本地成功部署以及GM端网页完整教程
人工智能·学习·游戏
希和20274 小时前
51 单片机学习笔记:LCD1602、独立按键、I2C 与 AT24C02 掉电存储(江科大课程小白笔记)
笔记·单片机·学习
承渊政道4 小时前
【Python编程—从入门到实践】(设置样式并部署:给Django网站换新装,把学习笔记发布到互联网)
python·学习·pycharm·django
筑梦之人6 小时前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
~kiss~16 小时前
A Survey of On-Policy Distillation for LLMs 学习(一)
学习
小杨小杨、努力变强!17 小时前
python学习笔记
笔记·学习
Star(up up up)1 天前
Redis Windows 安装教程:使用Windows 的 Redis 压缩包
redis·笔记·学习·程序人生·云原生·学习方法·改行学it
乌暮1 天前
Spring AOP 与 Spring 事务:用大白话彻底理解原理与实践
java·数据库·spring boot·后端·sql·学习·spring
蒸蒸yyyyzwd1 天前
从邓明学习的后端笔记
笔记·学习