实测梳理一下kafka分区分组的作用

bash 复制代码
清空topic

kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic second



创建分区

kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 3 --topic second



发

kafka-console-producer.sh --bootstrap-server localhost:9092 --topic second

先存着几个测试时用的命令,测试前提

消费者1,2同组,消费者3 不同组

测试用例=>结论

  1. topic不分区 =》 消费者1,2只有一个有全部消费(好像是后面连接的那个), 消费者3全部消费
  2. topic分2个区 =》 消费者1,2随机分摊消费(但是不重复),消费者3全部消费
  3. topic分3个区 =》 消费者1,2随机分摊消费(但是不重复,也不会少消费消息),消费者3全部消费
相关推荐
ZENERGY-众壹2 小时前
跨品牌逆变器升级:华为锦浪德业 API 对接的 7 个坑
分布式·华为·数据归一化·光伏运维·逆变器api
薛定谔的猫19826 小时前
LLaMA-Factory +DeepSpeed 分布式多卡训练实战全解
分布式·deepspeed·zero·多卡训练·多卡分布式训练
稚南城才子,乌衣巷风流6 小时前
RabbitMQ 消息队列:从入门到实战
分布式·rabbitmq
AI人工智能+电脑小能手8 小时前
【大白话说Java面试题 第194题】【08_Kafka篇】第10题:简述 Kafka 的 Rebalance 机制?
java·kafka·消费者组·rebalance·分布式消息队列
Database_Cool_20 小时前
单机 MySQL 迁移到分布式数据库方便吗?阿里云 PolarDB-X 100% MySQL 协议兼容零改造平滑迁移
数据库·分布式·mysql
肥胖小羊1 天前
解决企业微信 AccessToken 刷新并发冲突的分布式锁机制实践
分布式·企业微信
AI人工智能+电脑小能手1 天前
【大白话说Java面试题 第192题】【08_Kafka篇】第8题:死信队列是什么?延时队列是什么?
java·kafka·消息队列·死信队列·延时队列
AI人工智能+电脑小能手2 天前
【大白话说Java面试题 第190题】【08_Kafka篇】第6题:消息队列有什么作用?
java·kafka·消息队列·系统设计·分布式架构
风中凌乱2 天前
kafka新版本集群的安装与部署
分布式·kafka
SLD_Allen2 天前
大规模分布式AI训练基础设施
人工智能·分布式·模型训练