消息队列之Kafka

消息模型

重要概念

1.broker

Kafka 服务节点,一台 Kafka 服务器就是一个 Broker

2.分区 partition

分区(partition)是并行单位,broker 是机器。一个 broker 上挂多个分区,核心是把"扩展能力"和"机器数量"解耦开; 有序且顺序不可变得记录集,消息存放在分区日志里。一个分区只能属于一个topic,一个分区是一个topic的子集

2.偏移量 offset

用来唯一的标识分区中每一条记录和顺序,是线性增加的

其他:
术语 含义
Cluster 多个 Broker 组成的 Kafka 集群
Topic 消息的逻辑分类,例如 order-created、user-login
Replica / 副本 Partition 的副本,用于数据冗余和故障恢复
Leader 某个 Partition 当前负责读写的副本
Follower Partition 的其他副本,跟随 Leader 同步数据
ISR In-Sync Replicas,与 Leader 保持同步的副本集合
Controller Kafka 集群中负责管理分区、Leader 选举等工作的节点/角色

方案设计

实际使用时,需要定义好topic,每个topic对应多少个分区,Key是哪个字段(相同的Key会发往同一个分区,底层通过对key进行hash后取模,有三个分区就对3取模:hash(key)\3),消费者组启动后,会触发rebalance,对应的分区可能会发生变化

分布式

  • 这个例子中,有三台kafka服务器,这个topic对应的分区有3个,那么就会有3个leader,副本因子为3,那么每个分区会有2个follower,总的分区数是3*3=9
  • Leader 负责处理该 Partition 的写入以及消费者订阅的拉取。
  • Follower 从 Leader 拉取并同步数据。
  • Leader 故障时,Kafka 可以从符合条件的副本中选出新的 Leader。

适用场景

相关推荐
小码哥_常10 小时前
一套自己部署的 IM,客户端是同一份 Flutter
前端·后端
学长毕设13 小时前
基于SpringBoot的实验室资产管理系统
java·spring boot·后端
努力的小雨15 小时前
给 AI 眼镜开发应用有多难?我从零做了一个陪练,还上架了
后端
excel16 小时前
双 Token 与前端使用 Crypto 公私钥鉴权换 Token,哪种方案更好?
前端·后端
AI入职记17 小时前
AI 代码审查召回率实测:20 个骗过单元测试的变异体,抓到 13 个
后端
浮链序17 小时前
别让 AI 客服把用户当猴耍:百来行 Python 把「转人工」做成一条高可用链路
后端
属于自己的天空17 小时前
Claude Code 插件完全指南:官方市场怎么用,怎么自己写(v2.1.269+)
后端
Tokenfree17 小时前
给大模型调用加一个熔断器:60 行代码,三个阈值
后端
Jason_chen17 小时前
Linux 进程调度器深入解析与实时性优化指南(基于 Linux 5.10+)
后端
1360967572317 小时前
三个 Agent 干同一个活,职责边界到底该怎么划
后端