Kafka基础

一、Kafka是什么?

Kafka已经定位成一个分布式流式处理平台,它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而广泛使用。

Kafka主要是三大角色:

消息系统:提供了大多数消息系统难以实现的消息顺序性保障以及回溯消费的功能。

存储系统:Kafka把消息持久化到磁盘相比于其他基于内存存储的系统而言,有效降低了数据丢失的风险。消息持久化的功能和多副本机制。

流式处理平台:完整的流式处理类库。

二、Kafka核心概念

  1. Producer(生产者) : 生产消息的一方。
  2. Consumer(消费者) : 消费消息的一方。
  3. Broker(代理) : 服务代理节点,对于kafka而言,broker可以看作是一个独立的kafka服务节点或kafka服务实例。大多数情况下可以将broker看作一台kafka服务器。

同时,你一定也注意到每个 Broker 中又包含了 Topic 以及 Partition 这两个重要的概念:

  • Topic(主题) : Producer 将消息发送到特定的主题,Consumer 通过订阅特定的 Topic(主题) 来消费消息。主题是逻辑上的概念,它还可以细分为多个Partition。
  • Partition(分区) : Partition 属于 Topic 的一部分。一个 Topic 可以有多个 Partition ,并且同一个 Topic 下的 Partition 可以分布在不同的 Broker 上,这也就表明一个 Topic 可以横跨多个 Broker 。一个Partition只属于单个Topic,同一Topic下的不同Partition包含的消息是不同的,Partition在存储层面可以看作是一个可追加的日志文件,消息在被追加到分区日志文件的时候都会分配一个特定的偏移量(offset) 。offset是消息在Partition中的唯一标识,kafka通过它来保证消息在Partition内的顺序性,不过offset并不跨越分区,也就是说,kafka保证的是分区有序而不是主题有序。
相关推荐
ShineWinsu1 小时前
对于Qt:QHBoxLayout常见属性以及方法的解析
c++·qt·面试·gui·客户端·布局管理器·水平布局器
时间的拾荒人10 小时前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构
Rain的Java大神之路11 小时前
面试官:设计一个自动售货机系统。我:别急着写代码,先问5个问题|状态机+防超卖+断电自愈,一套答法讲透
java·后端·面试
怕浪猫1 天前
全球 3D 网络地球的实时通信节点,来看看这四种交互地球,满足你对物理互联网的所有好奇
面试·架构·github
挖掘狂人1 天前
用户连点两次「确认支付」,你的后端凭什么只扣一次钱?
java·后端·面试
Rain的Java大神之路1 天前
面试官问"MySQL 大表 COUNT(*) 怎么优化",90% 的人第一步就答错了
java·后端·面试
怕浪猫2 天前
这个十几个agent 协作项目值得关注
人工智能·面试·github
用户47949283569152 天前
从一句话或代码仓到可交互 HTML:开源 Agent 画图技能 Archify v3.2 实测与选型边界
前端·后端·面试
Yuzhiyuxia2 天前
【AI Agent面试系列】AI Agent实战设计
人工智能·面试·职场和发展
时间的拾荒人2 天前
Redis 哨兵(Sentinel)详解:原理、选举机制与实战部署
redis·面试·架构·sentinel