kafka 消息队列

消息队列的使用场景

同步和异步处理

流量控制

服务解耦

发布订阅

高并发缓存

概念

broker服务器

生产消费者

点对点的模型

顺序保证

ack确认机制(保存到磁盘 副本)

消息的持久化

框架

分区落在不同的broker 3个副本 只从leader中读取

同一主题不同分区 offset不同的

水平扩展:增加新的节点

分区策略:

轮询策略

随机策略

按消息键保存 key相同落在同一个分区

一个分区不支持多个消费者(同一个组)

分区分配策略:

1.RangeAssignor策略 导致消费者 分配不均匀 主题分区数可以整除消费者

2.轮询策略: 消费者订阅相同的主题

3.stickyAssignor:保持上一次分配 均匀分配 将删除的消费者分区进行轮询

相关推荐
艾希逐月13 小时前
分布式唯一 ID 生成方案
分布式
齐木卡卡西在敲代码17 小时前
kafka的pull的依据
分布式·kafka
超级迅猛龙17 小时前
保姆级Debezium抽取SQL Server同步kafka
数据库·hadoop·mysql·sqlserver·kafka·linq·cdc
lllsure17 小时前
RabbitMQ 基础
分布式·rabbitmq
DN金猿20 小时前
rabbitmq发送的延迟消息时间过长就立即消费了
分布式·rabbitmq
ejinxian21 小时前
MySQL/Kafka数据集成同步,增量同步及全量同步
数据库·mysql·kafka
武子康1 天前
大数据-74 Kafka 核心机制揭秘:副本同步、控制器选举与可靠性保障
大数据·后端·kafka
程序员不迷路1 天前
Kafka学习
分布式·kafka
北i1 天前
ZooKeeper 一致性模型解析:线性一致性与顺序一致性的平衡
分布式·zookeeper·云原生
IT技术小密圈1 天前
图解分布式锁: 5分钟搞懂分布式锁
分布式·后端·面试