实测梳理一下kafka分区分组的作用

bash 复制代码
清空topic

kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic second



创建分区

kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 3 --topic second



发

kafka-console-producer.sh --bootstrap-server localhost:9092 --topic second

先存着几个测试时用的命令,测试前提

消费者1,2同组,消费者3 不同组

测试用例=>结论

  1. topic不分区 =》 消费者1,2只有一个有全部消费(好像是后面连接的那个), 消费者3全部消费
  2. topic分2个区 =》 消费者1,2随机分摊消费(但是不重复),消费者3全部消费
  3. topic分3个区 =》 消费者1,2随机分摊消费(但是不重复,也不会少消费消息),消费者3全部消费
相关推荐
BD_Marathon8 小时前
spark.sql报错
大数据·分布式·spark
长不胖的路人甲16 小时前
RabbitMQ 死信队列 DLQ
分布式·rabbitmq
可乐ea17 小时前
【Redis八股|第8篇】Redis 分布式锁原理与 Redisson 使用
数据库·redis·分布式·面试题·redis八股
逸Y 仙X19 小时前
Spark部署
大数据·分布式·spark
BD_Marathon20 小时前
什么是Spark
大数据·分布式·spark
xian_wwq21 小时前
【学习笔记】分布式推理:TP / PP / EP / CP 并行策略详解(20/35)
笔记·分布式·学习·ai
记忆停留w21 小时前
Celery+Redis 分布式异步任务队列工程落地业务逻辑
大数据·人工智能·redis·分布式·缓存·架构·wpf
LitchiCheng1 天前
DGX Spark部署ComfyUI(一键安装脚本)
大数据·分布式·spark
千逐681 天前
鸿蒙实战:ArkData 数据持久化管理全景解析——从 Preferences 到分布式数据同步
分布式·华为·harmonyos
草莓熊Lotso1 天前
【Redis 初阶】 从分布式演进背景到环境搭建全解析
数据库·人工智能·redis·分布式·缓存