kafka分区和副本的关系?

  • 概念来一波

    • 比如一个topic的消息存放在两个分区中,分区1和分区2.
    • 每个分区都有自己的一个副本。即比如分区1有副本1/副本2/副本3,分区2也有分区2的副本1/副本2/副本3。
    • 一个节点上的一个topic的可以由多个分区存放,但是每个分区的leader副本会尽可能放到不同的节点上。
      • 一个partition分区只能被一个消费组中的一个消费者消费(消费者组id+Topic 确定一个当前消费到哪个offset)
  • 这个举个例子说明更形象

    • 例子1 如下图:topic 有4个分区,每个分区有2个副本。
      • Musk topic的分区0的leader副本在2节点上,另一个副本在1机器上;
      • Musk topic的分区1的leader副本在1节点上,另一个副本在0机器上;
      • Musk topic的分区2的leader副本在0节点上,另一个副本在2机器上;
      • Musk topic的分区3的leader副本在2节点上,另一个副本在0机器上;
  • 例子2 如下图是一个2分区3副本的Topic:分区0的leader副本在broker0节点上,分区1的leader的副本在broker2节点
相关推荐
坐公交也用券1 分钟前
使用Python3实现Gitee码云自动化发布
运维·gitee·自动化
天冬忘忧36 分钟前
Kafka 工作流程解析:从 Broker 工作原理、节点的服役、退役、副本的生成到数据存储与读写优化
大数据·分布式·kafka
19004338 分钟前
linux复习5:C prog
linux·运维·服务器
sevevty-seven1 小时前
幻读是什么?用什么隔离级别可以防止幻读
大数据·sql
朝九晚五ฺ1 小时前
【Linux探索学习】第十五弹——环境变量:深入解析操作系统中的进程环境变量
linux·运维·学习
施努卡机器视觉2 小时前
电解车间铜业机器人剥片技术是现代铜冶炼过程中自动化和智能化的重要体现
运维·机器人·自动化
徐浪老师2 小时前
深入实践 Shell 脚本编程:高效自动化操作指南
运维·chrome·自动化
King's King2 小时前
自动化立体仓库:详解
运维·自动化
东隆科技2 小时前
晶圆测试中自动化上下料的重要性与应用
运维·自动化
酷酷学!!!2 小时前
Linux基础指令(汇总)
linux·运维·服务器