kafka分区和副本的关系?

  • 概念来一波

    • 比如一个topic的消息存放在两个分区中,分区1和分区2.
    • 每个分区都有自己的一个副本。即比如分区1有副本1/副本2/副本3,分区2也有分区2的副本1/副本2/副本3。
    • 一个节点上的一个topic的可以由多个分区存放,但是每个分区的leader副本会尽可能放到不同的节点上。
      • 一个partition分区只能被一个消费组中的一个消费者消费(消费者组id+Topic 确定一个当前消费到哪个offset)
  • 这个举个例子说明更形象

    • 例子1 如下图:topic 有4个分区,每个分区有2个副本。
      • Musk topic的分区0的leader副本在2节点上,另一个副本在1机器上;
      • Musk topic的分区1的leader副本在1节点上,另一个副本在0机器上;
      • Musk topic的分区2的leader副本在0节点上,另一个副本在2机器上;
      • Musk topic的分区3的leader副本在2节点上,另一个副本在0机器上;
  • 例子2 如下图是一个2分区3副本的Topic:分区0的leader副本在broker0节点上,分区1的leader的副本在broker2节点
相关推荐
蓝莓味柯基1 分钟前
DevOps:概念与学习路径
运维·学习·devops
24k小善8 分钟前
FlinkSql入门与实践
java·大数据·flink·云计算
Leo.yuan8 分钟前
产销协同的作用是什么?又如何对各部门发挥作用?
大数据·信息可视化·数据分析·需求分析·企业数字化
帅帅的Python15 分钟前
2015-2023 各省 GDP 数据,用QuickBI 进行数据可视化——堆叠图!
大数据·人工智能
FJW02081417 分钟前
【Linux】web服务器的部署和优化
linux·运维·服务器·rhce
平生不喜凡桃李35 分钟前
Linux 进程控制
linux·运维·服务器
数据与人工智能律师43 分钟前
正确应对监管部门的数据安全审查
大数据·网络·数据库·人工智能·区块链
鱼与宇1 小时前
Linux常用命令
linux·运维·服务器
小南家的青蛙1 小时前
lspci的资料
linux·运维·服务器
敖云岚1 小时前
【那些年踩过的坑】Docker换源加速详细教程(截至2025年4月)
运维·docker·容器