阶段 1：Kafka基础认知

核心知识点

1. Kafka 三大核心角色：

   • Producer（生产者） ：负责向 Kafka topic 推送数据。可以理解为数据流的发起者。
   • Broker：Kafka 服务器节点，负责存储数据流。Kafka 集群由多个 broker 组成。
   • Consumer（消费者） ：负责从 Kafka topic 中读取和处理数据，可以是日志分析服务、数据库服务器等。

2. 核心概念：

   • Topic：Kafka 的基本单元，类似于数据库的表结构，用于对数据进行分类。
   • Partition：每个 topic 可以细分为多个 partition。每个 partition 是一个有序的不可变的记录序列，并且不断追加到此结构中。
   • Offset：Kafka 不同于传统差的消息队列的一点就是，它会给每条消息分配一个 offset（偏移量），在 consumer 端用来追踪消费者的读取记录。
   • Consumer Group（消费组） ：组中的每个 consumer 是相互独立地消费分配给自己的 partition。不同消费组可以独立消费消息。

典型场景

• 实时日志流处理：分析网站点击流，通过 Kafka 传输并处理实时用户数据信息。
• 物联网设备数据采集：设备数据通过 Kafka 实时推送到后台服务器进行分析处理。
• 微服务间异步通信：简化服务之间的通信，减少同步调用带来的复杂性。
• 金融交易实时风控：收集交易数据实时分析，检测异常行为。