消息队列和Kafka

消息队列(类似于蜂巢柜的功能):异步操作

特点:低耦合,响应时间快,异步削峰限流(在不繁忙的时间段处理再处理任务),系统结构弹性大,易于扩展

kafka

Kafka的主要组件包括:

  • Broker:Kafka集群中的单个服务器节点,负责数据存储和处理。

  • Topic:消息发布的类别或者主题。

  • Partition:每个Topic被划分为多个不同的分区,分区内的数据有序。

  • Producer:生产者,负责向Kafka的Topic发送消息。

  • Consumer:消费者,负责从Kafka的Topic接收和处理消息。

  • Consumer Group:一组消费者的集合,用于实现消费者的负载均衡和故障转移。

  • ZooKeeper:Kafka使用ZooKeeper来进行集群管理、协调和元数据存储。

broker是kafka服务器的一个实例,kafka是broker的集群

Topic是逻辑概念,代表某一类信息

partition分区

Replication副本,防止某个broker宕机,为partition创建多个副本,保存数据,一个broker的副本放在不同的broker中

当存在副本时,就会区分Leader、Follower,

Leader:主分片,接收生产者发送的数据,对接消费者消费消息

Follower:仅负责和Leader同步数据

Kafka在工作时,broker、Topic、Partition等都需要在Zookeeper中注册

消息队列和Kafka的区别?

1.存储机制:Kafka是持久化存储,存储在磁盘上;消息队列是存储在内存中

2.实时处理:Kafka是高吞吐、低延迟,适用于实时数据处理;消息队列注重消息传递的可靠性

3.设计模式:Kafka是分布式流媒体平台;而传统消息队列是单个服务器

4.消费模型:Kafka采用发布-订阅模型,可以多个消费者消费同一消息;而传统队列只能一个消息对应一个消费者

Kafka如何保证消息传递的可靠性?

1.持久化

2.复制:创建多个副本,分布在不同区

3.批量发送

4.确认机制

死锁

定义:多个事务访问同一资源,对已有的资源不释放,相互锁定对方的资源,造成的死循环

条件:

互斥(一个线程拿到锁后,其他线程不能用)

请求和保持(尝试获取另外的锁,自己的锁不释放)

不可剥夺(锁只能线程自己释放)

循环等待(相互等待对方释放锁)

相关推荐
真上帝的左手3 小时前
12. 消息队列-Kafka进阶
分布式·中间件·kafka
Thanks_ks21 小时前
Cookie 和 Session 到底是什么关系——登录态是怎么维持的
分布式·http·jwt·cookie·session·后端开发·登录态
千里达景区票务系统1 天前
消息队列选型对比:RabbitMQ vs RocketMQ vs Kafka
kafka·消息队列·rabbitmq·rocketmq
Sayai1 天前
Kafka 跨数据中心日志同步实战:MirrorMaker 2 选型对比 + Flink 中继任务落地(双中心互备与消费者组隔离避坑)
大数据·运维·分布式·flink·kafka·消息队列·高可用
jianjinwssy1 天前
从零设计一个 Agent 安全沙箱:Docker 隔离、三级风控与 Kafka 审计
人工智能·docker·kafka
CodeGL2 天前
开源的分布式任务调度平台:XXL-Job
分布式·开源
一条泥憨鱼2 天前
【Kafka】零基础学习教程
java·分布式·学习·kafka
9624562 天前
补打一条卡,为什么要从前一天重新算:人工补录与实时重算业务复盘
java·mysql·kafka
贾伟康2 天前
【共创稿事节】HarmonyOS 7.0 HiTraceChain分布式调用链:从接入到生产验证
分布式·harmonyos·可观测性·调用链·hitracechain
RobinXYuan3 天前
【Kafka 源码手记】05 Broker 网络层与请求处理(中):Processor 事件循环与线上的字节
kafka·源码阅读