【Kafka笔记】(二)核心架构与专属名词解释

一、 五大核心组件

1、Broker(服务节点)

Kafka 的服务节点,一个 Kafka 集群由多个 Broker 组成。

大白话:一台 Kafka 服务器就是一个 Broker。

2、Topic(主题)

数据的分类通道,相当于数据文件夹/数据表。

  • 不同业务数据放不同 Topic

  • 例如:vehicle_data(车联网数据)、order_log(订单数据)

核心:Flink 消费数据,本质就是消费某个 Topic 的数据。

3、Partition(分区)------ 重中之重

Topic 是逻辑概念,分区是物理存储单元。

  • 一个 Topic 可以分为多个分区

  • 数据均匀分散在不同分区存储

  • 分区数决定 Kafka 最大并发消费能力

生产铁律:Flink 并行度 ≤ Kafka 分区数,否则消费能力无法拉满。

4、Replica(副本)

分区的备份数据,用于高可用、防止数据丢失。

  • Leader 副本:负责读写数据

  • Follower 副本:只同步备份,故障时顶替 Leader

5、Offset(偏移量)------ 最核心

分区内每条消息的唯一序号,相当于数据的"读取游标"。

  • 消费者根据 Offset 记录读到哪了

  • 重启任务不会重头读,从上次 Offset 继续消费

  • Flink Checkpoint 本质就是保存 Offset 状态

二、 生产者 & 消费者 & 消费者组

1、生产者 Producer

负责向 Kafka Topic 发送数据的程序/服务。

示例:车联网设备、业务服务、日志采集程序。

2、消费者 Consumer

负责从 Kafka Topic 读取数据的程序。

示例:Flink 任务、数据同步服务、消息推送服务。

3、消费者组 Group ID(企业核心)

多个消费者归为一个组,组内核心规则:

  1. 同一个组内,一条数据只会被消费一次(保证不重复消费)

  2. 不同组之间互不影响,可以重复消费同一份数据

场景举例:

  • Flink 实时计算用一个组

  • 日志备份消费用另一个组

  • 两份任务独立消费,互不干扰

三、数据存储与消费机制

1、数据存储规则

  • Kafka 数据持久化落盘,不是读完就丢

  • 默认保留一段时间(通常 7天),过期自动清理

  • 数据有序:同一分区内数据有序,跨分区无序

  • earliest:从 Topic 最开始第一条数据从头消费(测试用)

  • latest:从当前最新数据开始消费(生产默认)

3、Offset 提交机制(生产重点)

  • 自动提交:简单但容易丢数据、重复数据(生产禁用)

  • 手动提交:消费成功再提交,Flink Checkpoint 就是手动精准提交

生产标准:关闭 Kafka 自动提交,依赖 Flink 精准 Offset 管理

相关推荐
Decay__8 小时前
PostgreSQL 数据库全栈运维实战系列 — 合集索引(24 篇)
运维·数据库·sql·mysql·架构
琳少_12 小时前
java程序开发笔记
java·开发语言·数据库·笔记
Flynn Liang13 小时前
大模型成本优化:基于 Redis 的可验证语义缓存架构
人工智能·redis·缓存·架构·ai agent·智能体
Ivis15 小时前
多平台架构对比
架构
SA-D15 小时前
Redis 架构要点:性能、持久化、缓存故障与分布式锁的边界
redis·缓存·架构
如夏倾城15 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
Dawson Zhu16 小时前
【模型量化⑤】Weight-Only INT4:AWQ与GPTQ两大算法深度解析
人工智能·语言模型·架构·aigc·agi
Z21-X16 小时前
云原生运维学习笔记:Kubernetes Volume 与 Secret 实验
运维·笔记·学习·云原生·kubernetes
一只大鸽子16 小时前
游戏开发笔记7-Godot RPG游戏基础-场景切换、全局脚本
笔记·游戏·godot