kafka 常用知识点

文章目录

  • 前言
    • [kafka 常用知识点](#kafka 常用知识点)
      • [1. kafka 概念](#1. kafka 概念)
      • [2. 消息共享和广播](#2. 消息共享和广播)
      • [3. 分区和副本数量奇偶数](#3. 分区和副本数量奇偶数)

前言

如果您觉得有用的话,记得给博主点个赞,评论,收藏一键三连啊,写作不易啊^ _ ^。

而且听说点赞的人每天的运气都不会太差,实在白嫖的话,那欢迎常来啊!!!


kafka 常用知识点

1. kafka 概念

Kafka 是一个 分布式、高吞吐、可持久化的消息队列系统.。

  • 生产者(Producer):写信的人,负责"投递消息"。
  • 消费者(Consumer):收信的人,负责"接收消息"。
  • 主题(Topic):信箱,按主题投放和接收信。
  • Broker(代理):Kafka 服务器,就是邮局,负责存储和投递。
  • 分区(Partition):每个信箱的子格子,信按顺序放入格子中。
  • 消费组(Consumer Group):一群消费者在"轮流收信"。

2. 消息共享和广播

Kafka 的消息共享(负载)和广播(全量)消费行为,是通过自定义的消费组 group.id来决定的。

示例:

不同的 group.id(广播模式):

bash 复制代码
@KafkaListener(topics = "log-topic", groupId = "group-A") // A
@KafkaListener(topics = "log-topic", groupId = "group-B") // B

相同的 group.id(集群分摊模式)

bash 复制代码
@KafkaListener(topics = "log-topic", groupId = "group-A") // A1
@KafkaListener(topics = "log-topic", groupId = "group-A") // A2

3. 分区和副本数量奇偶数

属性 是否建议奇数 说明
分区数 ❌ 无要求 根据并发需求、消费者数量设定即可
副本数 ✅ 建议奇数 多数副本机制保证高可用(如 3 副本)

4、Kafka 主题管理相关命令示例(基于 kafka-topics.sh

创建主题,3个分区,副本数2

bash 复制代码
kafka-topics.sh --create --topic my_topic --partitions 3 --replication-factor 2 --bootstrap-server localhost:9092

查看所有主题

bash 复制代码
kafka-topics.sh --list --bootstrap-server localhost:9092

查看某个主题详细信息

bash 复制代码
kafka-topics.sh --describe --topic my_topic --bootstrap-server localhost:9092

删除主题(需要broker配置允许删除)

bash 复制代码
kafka-topics.sh --delete --topic my_topic --bootstrap-server localhost:9092
相关推荐
掘金-我是哪吒7 小时前
分布式微服务系统架构第156集:JavaPlus技术文档平台日更-Java线程池使用指南
java·分布式·微服务·云原生·架构
亲爱的非洲野猪7 小时前
Kafka消息积压的多维度解决方案:超越简单扩容的完整策略
java·分布式·中间件·kafka
活跃家族7 小时前
分布式压测
分布式
前端世界9 小时前
HarmonyOS开发实战:鸿蒙分布式生态构建与多设备协同发布全流程详解
分布式·华为·harmonyos
DavidSoCool9 小时前
RabbitMQ使用topic Exchange实现微服务分组订阅
分布式·微服务·rabbitmq
掘金-我是哪吒11 小时前
分布式微服务系统架构第158集:JavaPlus技术文档平台日更-JVM基础知识
jvm·分布式·微服务·架构·系统架构
东窗西篱梦11 小时前
Redis集群部署指南:高可用与分布式实践
数据库·redis·分布式
Acrel_Fanny11 小时前
Acrel-1000系列分布式光伏监控系统在湖北荆门一马光彩大市场屋顶光伏发电项目中应用
分布式
xufwind11 小时前
spark standlone 集群离线安装
大数据·分布式·spark
半新半旧12 小时前
Redis集群和 zookeeper 实现分布式锁的优势和劣势
redis·分布式·zookeeper