Kafka(消息队列)--简介

1、kafka:

是一个高吞吐的分布式消息系统,与Hdfs比较相似,但是与hdfs的区别是在于hdfs是存储的是历史的、海量的数据,然而kafka存储的是实时的、最新的数据。

2、消息队列:

指的是在Kafka中的数据队列。可以存放数据在峰值的时候的数据,因为在数据峰值的时候,此时的数据量比较大,对于消费者没有办法及时的消费,为了防止反压的现象,此时的数据就可以在消息队列中等待。

生产者:生产者负责产生数据

消费者:消费者负责消费数据

3、消息队列的一般的应用场景:系统之间的解耦合、峰值压力缓冲、异步通信

峰值压力缓冲的应用在Flink中:

当数据某一时刻的产生的速度要是大于Flink的处理的速度,可以通过提高并行度来增加数据处理的速度,但是Flink是7*24小时的工作机制,就会导致资源的浪费,此时可以通过kafka来做峰值压力缓冲,就是在Flink高峰期的时候,将没办法及时处理的数据缓存在队列中,减轻Flink的压力。

4、Kafka的特点:

1、消息系统的模型:生存者消费者模型,FIFO模型

2、高性能:单节点支持上千个客户端

3、持久性:消息直接持久化在磁盘上且性能比较好

4、分布式:数据副本冗余,流量负载均衡,可扩展

5、很灵活:消息长时间持久化+client维护消费状态

5、kafka性能比较好的原因:

1、kafka写磁盘是顺序写的

2、采用了sendFile的0拷贝的技术,提高速度

3、还采用了批量写入,一批一批的写入数据,64k为一个单位。

6、kafka集群:

1、组件:

1、broker:使用存放数据的,也是多节点的

2、Zookeeper:负责存储kafka的元数据

相关推荐
Darkdreams22 分钟前
分布式监控Skywalking安装及使用教程(保姆级教程)
分布式·skywalking
深蓝电商API10 小时前
分布式事务在跨境交易中的解决方案
分布式·跨境电商·代购系统·反向海淘·代购平台·跨境代购
百锦再10 小时前
Java 并发编程进阶,从线程池、锁、AQS 到并发容器与性能调优全解析
java·开发语言·jvm·spring·kafka·tomcat·maven
我真会写代码14 小时前
从入门到精通:Kafka核心原理与实战避坑指南
分布式·缓存·kafka
黄俊懿15 小时前
【架构师从入门到进阶】第二章:系统衡量指标——第一节:伸缩性、扩展性、安全性
分布式·后端·中间件·架构·系统架构·架构设计
一叶飘零_sweeeet16 小时前
击穿 Kafka 高可用核心:分区副本、ISR 机制与底层原理全链路拆解
分布式·架构·kafka
007张三丰17 小时前
常用缓存技术全方位解析:从本地缓存到分布式缓存
分布式·缓存
tianyuanwo21 小时前
Koji 分布式编译调度机制深度解析:多架构异构节点的资源优化方案
分布式·架构
江沉晚呤时21 小时前
.NET 9 快速上手 RabbitMQ 直连交换机:高效消息传递实战指南
开发语言·分布式·后端·rabbitmq·.net·ruby
Volunteer Technology21 小时前
zookeeper基础应用与实战二
分布式·zookeeper·云原生