实测梳理一下kafka分区分组的作用

bash 复制代码
清空topic

kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic second



创建分区

kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 3 --topic second



发

kafka-console-producer.sh --bootstrap-server localhost:9092 --topic second

先存着几个测试时用的命令,测试前提

消费者1,2同组,消费者3 不同组

测试用例=>结论

  1. topic不分区 =》 消费者1,2只有一个有全部消费(好像是后面连接的那个), 消费者3全部消费
  2. topic分2个区 =》 消费者1,2随机分摊消费(但是不重复),消费者3全部消费
  3. topic分3个区 =》 消费者1,2随机分摊消费(但是不重复,也不会少消费消息),消费者3全部消费
相关推荐
本人手速666+28 分钟前
企微开发API如何设计客户冻结状态?WeComApi 在删除、投诉和异常客户场景中的自动化边界
运维·分布式·自动化·企业微信·企微外部群开发·wecomapi·企业微信二次开发
灯澜忆梦2 小时前
【RabbitMQ #4】 | Work 任务模型
分布式·rabbitmq
程序猿乐锅2 小时前
【黑马点评 | 第七篇】Redis 分布式锁的两种实现
java·数据库·redis·分布式·spring·缓存
千里码aicood4 小时前
基于Hadoop的机票价格波动分析系统的设计与实现
大数据·hadoop·分布式
今年下半年8 小时前
记录一次IBMS物联网项目的架构设计及技术栈应用
物联网·websocket·网络协议·tcp/ip·微服务·udp·kafka
Thomas.Sir6 天前
第21课:PyTorch|GPU多卡训练与分布式训练基础【让多卡并行成为你的加速引擎】
人工智能·pytorch·分布式
Cicada1286 天前
库存消息消费的正确性设计——从幂等窗口到批量流水线
分布式·系统架构
Nano叶落6 天前
Kafka 消费积压排查入门:Docker 搭环境亲手制造一次 ‘消息堵死‘,10 分钟看懂 Lag
kafka
Francek Chen7 天前
【大数据处理与分析】数据仓库Hive:04 数据仓库Hive概述
大数据·数据仓库·hive·hadoop·分布式