Kafka学习

  • Kafka的消息通过主题(topic)进行分类

  • 主题可以被分为若干个分区(partition),一个分区就是一个提交日志,通过分区来实现数据冗余和伸缩性

  • 消息以追加的方式写入分区,然后以先入先出(FIFO)的顺序读取

  • 无法在整个主题范围内保证消息的顺序,可以保证消息在单个分区内的顺序

  • 生产者(发布者,写入者)创建消息

  • 一般情况下,一个消息会被发布到一个特定的主题上,生产者在默认情况下把消息均衡发不到主题的所有分区上,并不关心特定消息会被写入哪个分区。

  • 特殊情况下,生产者会把消息直接写到指定的分区,通过分区器来实现,分区器为键生成一个散列值,并将其映射到指定分区上,从而保证同一个键的消息会被写到同一个分区上

  • 消费者(订阅者,读者)读取消息

  • 消费者订阅一个或多个主题,并按照消息生成的顺序进行读取

  • 消费者通过检查消息的偏移量来区分已经读取过的消息

  • 偏移量是一个不断递增的整数值,在创建消息时,kafka会把它添加到消息里

  • 同一个分区,每个消息的偏移量都是唯一的

  • 消费者把每个分区最后读取的消息偏移量保存在Zookeeper或Kafka上,如果消费者关闭或重启,读取状态不会丢失

  • 一个或多个消费者共同读取一个主题,群组保证每个分区只能被一个消费者使用

  • 一个独立的Kafka服务器被称为broker

  • broker接收来自生产者的消息,为消息设置偏移量,并提交消息到磁盘保存

主要硬件指标

  • 磁盘吞吐量:磁盘写入速度越快,生成消息的延迟就越低,优先选择固态硬盘(SSD)

  • 磁盘容量:需要多大的磁盘容量取决于需要保留的消息数量。如果每天收到1TB的消息,并且保留7天,那就需要7TB的存储空间,还有其他文件至少10%,还要考虑流量增长和波动

  • 内存:一些情况下,消费者读取的消息会直接存放在系统的页面缓存里,这比从磁盘上重新读取要快得多

  • 网络吞吐量:决定了Kafka能够处理的最大数据流量

  • 保留消息是Kafka的一个重要特性

  • 保留策略:天数或者消息大小

  • broker会往拥有最少数目分区的路径新增分区,而不是往拥有最小磁盘空间的路径新增分区

相关推荐
亲爱的非洲野猪9 分钟前
Kafka “假死“现象深度解析与解决方案
分布式·kafka
虾条_花吹雪14 分钟前
2、Connecting to Kafka
分布式·ai·kafka
strongwyy30 分钟前
蓝牙墨水屏上位机学习(2)
学习
九皇叔叔34 分钟前
(3)手摸手-学习 Vue3 之 变量声明【ref 和 reactive】区别
学习
Edingbrugh.南空2 小时前
Hadoop高可用集群搭建
大数据·hadoop·分布式
Bug退退退1233 小时前
RabbitMQ 高级特性之重试机制
java·分布式·spring·rabbitmq
The_cute_cat3 小时前
Ajax和Axios的初步学习
前端·学习·ajax
amazinging3 小时前
北京-4年功能测试2年空窗-报培训班学测开-第四十三天
python·学习
祁思妙想4 小时前
八股学习(五)---MySQL
学习
在肯德基吃麻辣烫4 小时前
《Redis》缓存与分布式锁
redis·分布式·缓存