kafka分区和副本的关系?

  • 概念来一波

    • 比如一个topic的消息存放在两个分区中,分区1和分区2.
    • 每个分区都有自己的一个副本。即比如分区1有副本1/副本2/副本3,分区2也有分区2的副本1/副本2/副本3。
    • 一个节点上的一个topic的可以由多个分区存放,但是每个分区的leader副本会尽可能放到不同的节点上。
      • 一个partition分区只能被一个消费组中的一个消费者消费(消费者组id+Topic 确定一个当前消费到哪个offset)
  • 这个举个例子说明更形象

    • 例子1 如下图:topic 有4个分区,每个分区有2个副本。
      • Musk topic的分区0的leader副本在2节点上,另一个副本在1机器上;
      • Musk topic的分区1的leader副本在1节点上,另一个副本在0机器上;
      • Musk topic的分区2的leader副本在0节点上,另一个副本在2机器上;
      • Musk topic的分区3的leader副本在2节点上,另一个副本在0机器上;
  • 例子2 如下图是一个2分区3副本的Topic:分区0的leader副本在broker0节点上,分区1的leader的副本在broker2节点
相关推荐
UMI赋能企业25 分钟前
企业视频库管理高效策略
大数据·人工智能
代码的余温2 小时前
Elasticsearch JVM调优:核心参数与关键技巧
大数据·jvm·elasticsearch
lifallen3 小时前
Hadoop MapReduce 任务/输入数据 分片 InputSplit 解析
大数据·数据结构·hadoop·分布式·算法
weisian1514 小时前
Elasticsearch-2--ES的架构和工作原理
大数据·elasticsearch·架构
yangmf20404 小时前
LDAP 认证系列(四):Gateway LDAP 认证
大数据·elasticsearch·搜索引擎·gateway·ldap
luck_lin5 小时前
linux添加新硬盘挂载分区和数据迁移
linux·运维·分区扩容
四时久成5 小时前
服务器认证系统
运维·服务器
徐子元竟然被占了!!5 小时前
Windows Server 2019 DateCenter搭建 FTP 服务器
运维·服务器·windows
-L75 小时前
进入docker中mysql容器的方法
运维·mysql·docker·容器