kafka简介

Kafka 是一款由 Apache 软件基金会开发的分布式流处理平台,主要用于高吞吐量的实时数据管道构建、流式数据分析及跨系统集成。其核心特性包括持久化存储、水平扩展和容错机制。

核心概念

  1. 主题(Topic)

    消息的分类单元,生产者将消息发送到特定主题,消费者订阅主题进行消费。

  2. 分区(Partition)

    每个主题分为多个分区,分区是消息的有序队列,物理上对应一个文件夹,支持水平扩展。

  3. 副本(Replica)

    分区的副本分布在集群不同节点,通过冗余提升可用性。

  4. 分段(segment)

    宏观上看,(一个partition对应一个日志)。由于生产者生产的消息会不断追加到log文件末尾,为防止log文件过大导致数据检索效率低下,kafka采取分段和索引机制,将每个partition分为多个segment,同时也便于消息的维护和清理。

核心组件

  • 生产者(Producer):发布消息到主题。
  • 消费者(Consumer):订阅主题并处理数据流。
  • 代理(Broker):Kafka 集群中的服务器节点,负责消息存储和转发。

应用场景

  • 实时数据管道:如日志收集、大数据传输。
  • 流式处理:电商订单处理、金融交易监控。

与其他消息队列对比

  • Kafka:高吞吐、持久化存储,适合海量数据场景。
  • RabbitMQ:低延迟、复杂路由,适合中小规模系统。
  • RocketMQ:金融级事务支持,如订单一致性。

参考:Kafka 官方文档 或入门教程。

相关推荐
stark张宇16 小时前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
飞奔的瓜牛20 小时前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
时间的拾荒人1 天前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构
筑梦之人2 天前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
kiwixing3 天前
GaussDB|集中式还是分布式?三把尺子选型
分布式·gaussdb
真上帝的左手3 天前
30. 技术专题-‌应用框架组件-分布式架构
分布式·架构·系统架构·分布式架构
zixu_star4 天前
从单机到分布式:定时任务如何处理大量数据与执行失败?
分布式
lsc_blog5 天前
听到优化风声,先准备能由自己掌控的事
数据库·分布式·中间件·职场和发展·重构
Lansonli6 天前
大数据Spark(八十七):Spark-Submit 参数详解
大数据·分布式·spark
qq_452396236 天前
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》
分布式·kafka