阶段 1:Kafka基础认知

核心知识点

  1. Kafka 三大核心角色:

    • Producer(生产者) :负责向 Kafka topic 推送数据。可以理解为数据流的发起者。
    • Broker:Kafka 服务器节点,负责存储数据流。Kafka 集群由多个 broker 组成。
    • Consumer(消费者) :负责从 Kafka topic 中读取和处理数据,可以是日志分析服务、数据库服务器等。
  2. 核心概念:

    • Topic:Kafka 的基本单元,类似于数据库的表结构,用于对数据进行分类。
    • Partition:每个 topic 可以细分为多个 partition。每个 partition 是一个有序的不可变的记录序列,并且不断追加到此结构中。
    • Offset:Kafka 不同于传统差的消息队列的一点就是,它会给每条消息分配一个 offset(偏移量),在 consumer 端用来追踪消费者的读取记录。
    • Consumer Group(消费组) :组中的每个 consumer 是相互独立地消费分配给自己的 partition。不同消费组可以独立消费消息。
典型场景
  • 实时日志流处理:分析网站点击流,通过 Kafka 传输并处理实时用户数据信息。
  • 物联网设备数据采集:设备数据通过 Kafka 实时推送到后台服务器进行分析处理。
  • 微服务间异步通信:简化服务之间的通信,减少同步调用带来的复杂性。
  • 金融交易实时风控:收集交易数据实时分析,检测异常行为。
相关推荐
武子康12 小时前
大数据-58 Kafka 消息发送全流程详解:序列化、分区策略与自定义实现
大数据·后端·kafka
思辨共悟12 小时前
Kafka简述及学习课程
分布式·kafka
Code季风14 小时前
从超卖到数据一致:分布式锁的最佳实践与演进历程
分布式·微服务·go
Code季风14 小时前
深入理解 Redis 分布式锁:实现互斥保障的最佳实践
redis·分布式·微服务
lifallen14 小时前
hadoop.yarn 带时间的LRU 延迟删除
java·大数据·数据结构·hadoop·分布式·算法
努力搬砖ll18 小时前
分布式弹幕系统设计
分布式
九伯都21 小时前
rabbitmq的安装和使用-windows版本
windows·分布式·rabbitmq
你我约定有三1 天前
分布式微服务--万字详解 微服务的各种负载均衡全场景以注意点
java·开发语言·windows·分布式·微服务·架构·负载均衡
哈哈很哈哈1 天前
Hadoop JMX 配置的完整文档
大数据·hadoop·分布式
首席令狐冲1 天前
RabbitMQ安装与介绍
分布式·rabbitmq·ruby