阶段 1:Kafka基础认知

核心知识点

  1. Kafka 三大核心角色:

    • Producer(生产者) :负责向 Kafka topic 推送数据。可以理解为数据流的发起者。
    • Broker:Kafka 服务器节点,负责存储数据流。Kafka 集群由多个 broker 组成。
    • Consumer(消费者) :负责从 Kafka topic 中读取和处理数据,可以是日志分析服务、数据库服务器等。
  2. 核心概念:

    • Topic:Kafka 的基本单元,类似于数据库的表结构,用于对数据进行分类。
    • Partition:每个 topic 可以细分为多个 partition。每个 partition 是一个有序的不可变的记录序列,并且不断追加到此结构中。
    • Offset:Kafka 不同于传统差的消息队列的一点就是,它会给每条消息分配一个 offset(偏移量),在 consumer 端用来追踪消费者的读取记录。
    • Consumer Group(消费组) :组中的每个 consumer 是相互独立地消费分配给自己的 partition。不同消费组可以独立消费消息。
典型场景
  • 实时日志流处理:分析网站点击流,通过 Kafka 传输并处理实时用户数据信息。
  • 物联网设备数据采集:设备数据通过 Kafka 实时推送到后台服务器进行分析处理。
  • 微服务间异步通信:简化服务之间的通信,减少同步调用带来的复杂性。
  • 金融交易实时风控:收集交易数据实时分析,检测异常行为。
相关推荐
诸葛务农1 小时前
人形机器人——电子皮肤技术路线:光学式电子皮肤及MIT基于光导纤维的分布式触觉传感电子皮肤
分布式·机器人·wpf
武子康3 小时前
大数据-77 Kafka 延时队列与消息重试机制全解析:从原理到实战落地 Java
大数据·后端·kafka
心月狐的流火号3 小时前
分布式锁技术详解与Go语言实现
分布式·微服务·go
秋已杰爱6 小时前
Redis分布式锁
数据库·redis·分布式
编啊编程啊程10 小时前
JUC之AQS
java·开发语言·jvm·c++·kafka
努力买辣条11 小时前
基于 Docker 的高可用 WordPress 集群部署:分布式 Nginx + Keepalived、MySQL 主从复制与 ProxySQL 读写分离
分布式·nginx·docker
tan77º19 小时前
【Linux网络编程】分布式Json-RPC框架 - 项目设计
linux·服务器·网络·分布式·网络协议·rpc·json
武子康21 小时前
大数据-76 Kafka 从发送到消费:Kafka 消息丢失/重复问题深入剖析与最佳实践
大数据·后端·kafka
鼠鼠我捏,要死了捏1 天前
Kafka Streams vs Apache Flink vs Apache Storm: 实时流处理方案对比与选型建议
kafka·apache flink·apache storm
Tapdata 钛铂数据1 天前
TapData vs Kafka ETL Pipeline:竞争?共存?——企业实时数据策略的正确打开方式
kafka·数据同步·实时数据·kafka connect