kafka分区和副本的关系?

  • 概念来一波

    • 比如一个topic的消息存放在两个分区中,分区1和分区2.
    • 每个分区都有自己的一个副本。即比如分区1有副本1/副本2/副本3,分区2也有分区2的副本1/副本2/副本3。
    • 一个节点上的一个topic的可以由多个分区存放,但是每个分区的leader副本会尽可能放到不同的节点上。
      • 一个partition分区只能被一个消费组中的一个消费者消费(消费者组id+Topic 确定一个当前消费到哪个offset)
  • 这个举个例子说明更形象

    • 例子1 如下图:topic 有4个分区,每个分区有2个副本。
      • Musk topic的分区0的leader副本在2节点上,另一个副本在1机器上;
      • Musk topic的分区1的leader副本在1节点上,另一个副本在0机器上;
      • Musk topic的分区2的leader副本在0节点上,另一个副本在2机器上;
      • Musk topic的分区3的leader副本在2节点上,另一个副本在0机器上;
  • 例子2 如下图是一个2分区3副本的Topic:分区0的leader副本在broker0节点上,分区1的leader的副本在broker2节点
相关推荐
北邮-吴怀玉1 小时前
1.4.1 大数据方法论与实践指南-元数据治理
大数据
我爱钱因此会努力3 小时前
ansible自动化运维入门篇
linux·运维·服务器·centos·自动化·ansible
CIb0la3 小时前
能保持精神专注的爱好能给生活带来种种积极的转变
运维·学习·生活
菜鸡儿齐3 小时前
kafka简介
分布式·kafka
11年老程序猿在线搬砖3 小时前
如何搭建自己的量化交易平台
大数据·人工智能·python·自动交易·量化交易系统
Elastic 中国社区官方博客3 小时前
Elasticsearch 开放推理 API 增加了对 Google 的 Gemini 模型的支持
大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索·googlecloud
周杰伦_Jay3 小时前
【实战|旅游知识问答RAG系统全链路解析】从配置到落地(附真实日志数据)
大数据·人工智能·分布式·机器学习·架构·旅游·1024程序员节
B站_计算机毕业设计之家4 小时前
python电商商品评论数据分析可视化系统 爬虫 数据采集 Flask框架 NLP情感分析 LDA主题分析 Bayes评论分类(源码) ✅
大数据·hadoop·爬虫·python·算法·数据分析·1024程序员节
rit84324994 小时前
Git常用命令的详细指南
大数据·git·elasticsearch
赵谨言5 小时前
基于Python Web的大数据系统监控平台的设计与实现
大数据·开发语言·经验分享·python