Kafka|基础入门

文章目录

快速了解Kafka






快速上手Kafka

  • 启动zookeeper
  • 启动kafka







  • 创建topic - 启动发送者 - 启动消费者







bash 复制代码
Partition 0:  [msg1] -> [msg2] -> [msg3] -> ...
                0        1        2

Partition 1:  [msg4] -> [msg5] -> ...
                0        1


  • 同一个消费者组中对同一个消息只会消费一次,但是不同的消费者组可以都对一条消息进行消费





  • 不同的消费者组会记录自己的一个消费记录offset


理解Kafka的集群


  • Broker:Kafka 的服务器实例。
  • Partition:一个 Topic 被划分的最小单位。
  • Leader Partition:每个 Partition 都有一个 Leader,负责处理读写请求。
  • Follower Partition:其余副本称为 Follower,从 Leader 同步数据,主要用于容错。











Kafka集群的消息流转模型


相关推荐
serendipity_hky15 小时前
【微服务 - easy视频 | day04】Seata解决分布式事务
java·spring boot·分布式·spring cloud·微服务·架构
回家路上绕了弯15 小时前
服务器大量请求超时?从网络到代码的全链路排查指南
分布式·后端
陈辛chenxin17 小时前
【大数据技术06】大数据技术
大数据·hadoop·分布式·python·信息可视化
yumgpkpm17 小时前
Hadoop在AI时代如何实现生态协同? CMP 7.13(或类 Cloudera CDP7.3 的 CMP 7.13 平台,如华为鲲鹏 ARM 版)
大数据·hadoop·elasticsearch·zookeeper·kafka·hbase·cloudera
执笔论英雄17 小时前
【大模型训练】megatron分布式并行训练的调用流程,关键函数forward_backward_func
分布式
kaikaile199517 小时前
34节点配电网牛顿-拉夫逊潮流计算 + 分布式电源(DG)多场景分析的 MATLAB
开发语言·分布式·matlab
老虎062717 小时前
黑马点评学习笔记10(优惠券秒杀下单优化(分布式锁的优化,Lua脚本))
笔记·分布式·学习
小坏讲微服务17 小时前
使用 Spring Cloud Gateway 实现集群
java·spring boot·分布式·后端·spring cloud·中间件·gateway
失散1318 小时前
分布式专题——53 ElasticSearch高可用集群架构实战
java·分布式·elasticsearch·架构
居7然19 小时前
详解监督微调(SFT):大模型指令遵循能力的核心构建方案
人工智能·分布式·架构·大模型·transformer