Kafka知识总结(基本介绍+基本概念)

文章收录在网站:http://hardyfish.top/

文章收录在网站:http://hardyfish.top/

文章收录在网站:http://hardyfish.top/

文章收录在网站:http://hardyfish.top/

消息队列应用场景:

通过异步处理提高系统性能(减少响应所需时间)

削峰/限流

降低系统耦合性

消息队列对比

Kafka:

  • 追求高吞吐量,一开始用于日志收集和传输,适合产生大量数据的互联网服务的数据收集业务,大型公司可以选用。
  • 如果有日志采集功能,肯定首选 Kafka。

RocketMQ:

  • 天生为金融互联网领域而生,对于可靠性要求很高的场景。
    • 尤其是电商里面的订单扣款,以及业务削峰,在大量交易涌入时,后端可能无法及时处理的情况。
  • RoketMQ 在稳定性上可能更值得信赖。
    • 这些业务场景在阿里双 11 已经经历了多次考验,如果业务有上述并发场景,建议选择 RocketMQ。

RabbitMQ:

  • 结合 Erlang 语言本身的并发优势,性能较好,社区活跃度也比较高,但是不利于做二次开发和维护。
  • 不过 RabbitMQ 的社区十分活跃,可以解决开发过程中遇到的 Bug。
  • 如果数据量没有那么大,小公司优先选择功能比较完备的 RabbitMQ。

基础知识

版本号

版本命名:Scala 2.11 - kafka_2.11-2.1.1

前面的版本号是编译 Kafka 源代码的 Scala 编译器版本。Kafka 服务器端的代码完全由 Scala 语言编写,Scala 同时支持面向对象编程和函数式编程。

真正的 Kafka 版本号实际上是 2.1.1。

前面的 2 表示大版本号,即 Major Version;中间的 1 表示小版本号或次版本号,即 Minor Version;最后的 1 表示修订版本号,也就是 Patch 号。

为什么吞吐量大、速度快?

顺序读写:

Kafka的message是不断追加到本地磁盘文件末尾的,而不是随机的写入。

Page Cache:

通过操作系统的Page Cache,Kafka的读写操作基本上是基于内存的,读写速度得到了极大的提升。

零拷贝,批量读写,批量压缩。

分区分段+索引:

Kafka的message是按topic分类存储的,topic中的数据又是按照一个一个的partition即分区存储到不同broker节点。

每个partition对应了操作系统上的一个文件夹,partition实际上又是按照segment分段存储的。

Kafka又默认为分段后的数据文件建立了索引文件,就是文件系统上的.index文件。

基本概念

主题:

  • Topic主题是承载消息的逻辑容器,在实际使用中多用来区分具体的业务。

分区:

  • Partition,一个有序不变的消息序列,每个主题下可以有多个分区。

消息位移:

  • Offset,表示分区中每条消息的位置信息,是一个单调递增切不变的值。

副本:

  • Replica,进行数据冗余。

生产者:

  • Producer,向主题发送新消息的应用程序。

消费者:

  • Consumer,从主题订阅新消息的应用程序。

消费者位移:

  • Consumer Offset,表征消费者消费进度。

消费者组:

  • Consumer Group,多个消费者实例共同组成的一个组,同时消费多个分区以实现高吞吐量。

HW

HW (High Watermark)俗称高水位,它标识了一个特定的消息偏移量(offset),消费者只能拉取到这个offset之前的消息。

LEO

LEO (Log End Offset),标识当前日志文件中下一条待写入的消息的offset。

上图中offset为9的位置即为当前日志文件的 LEO,LEO 的大小相当于当前日志分区中最后一条消息的offset值加1。

分区 ISR 集合中的每个副本都会维护自身的 LEO,而 ISR 集合中最小的 LEO 即为分区的 HW,对消费者而言只能消费 HW 之前的消息。

消息模型

相关推荐
Code季风33 分钟前
微服务分布式配置中心:Gin Web 服务层与 gRPC 服务层集成 Nacos 实战
分布式·微服务·rpc·架构·go·gin·consul
王小王-1232 小时前
基于Hadoop的用户购物行为可视化分析系统设计与实现
大数据·hadoop·分布式·用户购物行为·电商日志分析
sql2008help3 小时前
5-Kafka-replication(副本机制)概念
分布式·kafka
草履虫建模4 小时前
Redis:高性能内存数据库与缓存利器
java·数据库·spring boot·redis·分布式·mysql·缓存
Jay Kay12 小时前
TensorFlow内核剖析:分布式TensorFlow架构解析与实战指南
分布式·架构·tensorflow
阿蒙Amon12 小时前
C# Linq to SQL:数据库编程的解决方案
数据库·c#·linq
亿牛云爬虫专家13 小时前
Kubernetes下的分布式采集系统设计与实战:趋势监测失效引发的架构进化
分布式·python·架构·kubernetes·爬虫代理·监测·采集
群联云防护小杜19 小时前
构建分布式高防架构实现业务零中断
前端·网络·分布式·tcp/ip·安全·游戏·架构
爱吃面的猫19 小时前
大数据Hadoop之——Flink1.17.0安装与使用(非常详细)
大数据·hadoop·分布式
上上迁21 小时前
分布式生成 ID 策略的演进和最佳实践,含springBoot 实现(Java版本)
java·spring boot·分布式