大数据学习(100)-kafka详解

🍋🍋大数据学习🍋🍋

🔥系列专栏: 👑哲学语录: 用力所能及,改变世界。
💖如果觉得博主的文章还不错的话,请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞


Apache Kafka 是一个 分布式流处理平台 ,主要用于构建 高吞吐量、低延迟、可扩展 的实时数据管道和流式应用程序。它广泛应用于日志聚合、事件溯源、消息队列、实时分析等场景。

Kafka 核心概念

1. Producer(生产者)

向 Kafka 发布(写入) 消息的客户端。

可以指定消息发送到哪个 Topic(主题)Partition(分区)

2. Consumer(消费者)

从 Kafka 订阅(读取) 消息的客户端。

消费者可以组成 Consumer Group(消费者组),实现负载均衡。

3. Broker(代理服务器)

Kafka 集群中的单个服务器节点。

负责存储消息、处理生产者和消费者的请求。

4. Topic(主题)

消息的分类(类似数据库中的表)。

一个 Topic 可以分成多个 Partition(分区),提高并行处理能力。

5. Partition(分区)

Topic 的物理存储单元,分布在不同的 Broker 上。

每个 Partition 是一个 有序、不可变 的消息队列。

消息在 Partition 内按 Offset(偏移量) 索引。

6. Replication(副本)

每个 Partition 可以有多个副本(Leader + Followers),提高容错能力。

Leader 处理读写请求,Followers 同步数据。

7. Consumer Group(消费者组)

多个消费者可以组成一个组,共同消费一个 Topic。

每个 Partition 只能被组内的 一个消费者 消费,实现负载均衡。

Kafka 核心特性

高吞吐量

  • 支持每秒百万级消息处理(取决于硬件和配置)。

  • 采用 顺序 I/O零拷贝(Zero-Copy) 技术优化性能。

持久化存储

  • 消息默认持久化到磁盘(可配置保留时间)。

  • 支持 日志压缩(Log Compaction),只保留最新 Key 的消息。

水平扩展

  • 可以通过增加 Broker 和 Partition 来扩展集群。

  • 支持动态扩容。

容错性

  • 通过 副本(Replication) 机制保证数据不丢失。

  • 如果 Leader 宕机,Follower 会自动接管。

流处理支持

  • 可与 Kafka StreamsFlinkSpark Streaming 等流处理框架集成。

Kafka 使用场景

消息队列(MQ):解耦生产者和消费者,异步处理任务。

日志收集:集中存储和分析应用日志(如 ELK 架构)。

实时数据处理:结合 Flink/Spark 进行实时计算。

事件溯源(Event Sourcing):记录系统状态变化。

Metrics & Monitoring:传输监控数据(如 Prometheus + Kafka)。

Kafka vs 传统消息队列(RabbitMQ)

特性 Kafka RabbitMQ
吞吐量 极高(百万级/秒) 中等(万级/秒)
延迟 低(毫秒级) 极低(微秒级)
持久化 默认持久化 可选
消费模式 基于 Pull(消费者主动拉取) 基于 Push(Broker 推送)
适用场景 大数据流处理、日志 任务队列、RPC
相关推荐
电商软件开发小辛2 分钟前
解析电商本地生活竞争:从我店模式创新到生态协同的进化路径
大数据
red_redemption25 分钟前
自由学习记录(88)
学习
2501_924878593 小时前
强光干扰下漏检率↓78%!陌讯动态决策算法在智慧交通违停检测的实战优化
大数据·深度学习·算法·目标检测·视觉检测
做科研的周师兄3 小时前
【机器学习入门】1.2 初识机器学习:从数据到智能的认知之旅
大数据·数据库·人工智能·python·机器学习·数据分析·机器人
百分百题库APP4 小时前
江苏安全员 A 证 “安全生产管理” 核心考点
学习·考试·题库·考证
IT毕设梦工厂5 小时前
大数据毕业设计选题推荐-基于大数据的丙型肝炎患者数据可视化分析系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·spark·毕业设计·源码·bigdata
阿里云大数据AI技术5 小时前
【跨国数仓迁移最佳实践7】基于MaxCompute多租的大数据平台架构
大数据
阿里云大数据AI技术5 小时前
ODPS 十五周年实录 | Data + AI,MaxCompute 下一个15年的新增长引擎
大数据·python·sql
SelectDB5 小时前
2-5 倍性能提升,30% 成本降低,阿里云 SelectDB 存算分离架构助力波司登集团实现降本增效
大数据·数据库·数据分析
随心............6 小时前
Spark面试题
大数据·分布式·spark