Kafka

1.定义

Kafka:一个分布式基于发布/订阅模式的消息队列。

发布者发布消息进入队列后,每个订阅者都能在一定时间内获取发布的消息(Kafka:消费者通过主动拉取pull队列)。

缺点:即使没有消息,消费者仍然需要轮询消息队列

pull模式:可以根据 Consumer的消费能力以适当的速率消费消息,消费的方式、速率可以由消费者制定。

2.作用

  • 解耦:程序请求结束后可直接返回,无需等待任务执行。 程序与执行独立。
  • 缓冲:解决生产信息与消费信息处理速度不一致的情况
  • 峰值处理能力:应对突发访问量剧增的情况
  • 异步通信

3.Kafka架构

Kafka主要分为生产者、Kafka集群、消费者三大部分。

集群由多个Broker(代理服务器)组成,消息以Topic(主题)为分类,较大的主题可以分为多个Partition(分区)。由于分布式存储的缘故,每个分区都会成为leader/follower的一种,数据只从leader分区进行传输,follower分区仅作为备份。

消费者可以组成消费者组(Consumer group),每一个消费组都能够获得全量的消息,同一个消费者组中只有1个人可以获得相同的消息队列中的消息(提高并发)。一般情况下一个应用对应着一个消费组。

消息队列中的offset(偏移量,记录现在接收到第几条消息了)在0.9版本之前存储在ZK中,在之后存储在Kafka集群中的系统Topic中,因为消费者拉取消息时会频繁的跟ZK进行交互影响效率。

4.存储方式

Kafka的消息数据是存放在于磁盘 上的。因为经过对磁盘读写的一系列优化,磁盘的顺序读取速度>内存随机访问速度

在文件中的实际存储是以Partition作为单位 的,文件夹的命名规则:<topic_name>-<partition_id>

假设我们现在 Kafka 集群只有一个 Broker,我们创建 2 个 Topic 名称分别为:「topic1」和「topic2」,Partition 数量分别为 1、2,那么我们的根目录下就会创建如下三个文件夹:

复制代码
| --topic1-0
| --topic2-0
| --topic2-1

当客户端写入消息时,文件夹下会生成Segment文件(包含log、index两部分),log文件是消息的内容,index是消息的索引。

消息的写入:Partition的写入为尾部追加,这样的顺序写磁盘操作让 Kafka 的效率非常高。

消息的删除:消息被消费后不会立即删除,只会定期删除过期的Segment文件。

5.docker创建集群(kraft版 无zookeeper)

Docker单机部署kafka集群https://www.jianshu.com/p/67a903d6c44c

Docker多机部署kafka集群:https://www.cnblogs.com/linjiangplus/p/16424137.html

未完待续...

参考:

https://zhuanlan.zhihu.com/p/74063251

相关推荐
Bug退退退1234 小时前
RabbitMQ 之消息积压
分布式·rabbitmq
熊猫钓鱼>_>4 小时前
Hadoop 用户入门指南:驾驭大数据的力量
大数据·hadoop·分布式
文艺倾年6 小时前
【八股消消乐】浅尝Kafka性能优化
分布式·性能优化·kafka
钟琛......7 小时前
Redisson 的分布式锁
分布式
CodeWithMe10 小时前
【Note】《Kafka: The Definitive Guide》第11章:Stream Processing
分布式·kafka
落霞的思绪14 小时前
使用云虚拟机搭建hadoop集群环境
大数据·hadoop·分布式
dessler14 小时前
Kafka-日常运维命令
linux·运维·kafka
csdn_aspnet16 小时前
在 Docker 上安装和配置 Kafka、选择用于部署 Kafka 的操作系统
docker·kafka
Bug退退退1231 天前
RabbitMQ 高级特性之事务
java·分布式·spring·rabbitmq
CodeWithMe1 天前
【Note】《Kafka: The Definitive Guide》第四章:Kafka 消费者全面解析:如何从 Kafka 高效读取消息
分布式·kafka