阶段 1:Kafka基础认知

核心知识点

  1. Kafka 三大核心角色:

    • Producer(生产者) :负责向 Kafka topic 推送数据。可以理解为数据流的发起者。
    • Broker:Kafka 服务器节点,负责存储数据流。Kafka 集群由多个 broker 组成。
    • Consumer(消费者) :负责从 Kafka topic 中读取和处理数据,可以是日志分析服务、数据库服务器等。
  2. 核心概念:

    • Topic:Kafka 的基本单元,类似于数据库的表结构,用于对数据进行分类。
    • Partition:每个 topic 可以细分为多个 partition。每个 partition 是一个有序的不可变的记录序列,并且不断追加到此结构中。
    • Offset:Kafka 不同于传统差的消息队列的一点就是,它会给每条消息分配一个 offset(偏移量),在 consumer 端用来追踪消费者的读取记录。
    • Consumer Group(消费组) :组中的每个 consumer 是相互独立地消费分配给自己的 partition。不同消费组可以独立消费消息。
典型场景
  • 实时日志流处理:分析网站点击流,通过 Kafka 传输并处理实时用户数据信息。
  • 物联网设备数据采集:设备数据通过 Kafka 实时推送到后台服务器进行分析处理。
  • 微服务间异步通信:简化服务之间的通信,减少同步调用带来的复杂性。
  • 金融交易实时风控:收集交易数据实时分析,检测异常行为。
相关推荐
国科安芯9 小时前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
ClouGence12 小时前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户3610588626121 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi1 天前
Kafka消息中间件单机版安装配置
分布式·kafka
OriginCoding1 天前
一个 JDK 跑起六个分布式挑战:Kotlin 版 Gossip Glomers(一)
分布式·kotlin
stark张宇2 天前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
飞奔的瓜牛2 天前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
时间的拾荒人2 天前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构
筑梦之人4 天前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
kiwixing5 天前
GaussDB|集中式还是分布式?三把尺子选型
分布式·gaussdb