【kafka】消息队列

什么是消息队列

消息队列 (Message Queue, MQ), 字面理解就是一个队列,拥有先进先出(First Input First OutPut, FIFO)的特性, 作用于不用进程或线程之间的通信

主要作用有哪些

1 应用解耦

多个应用通过消息队列可以对相同的消息进行处理, 逻辑上相互独立做到解耦 (注意: 业务上还是会相互影响, 解的只是工程上的耦)

2 异步处理

这里结合串行-并行-异步理解, 场景用户注册发短信和发邮件
串行 注册写数据库10s, 发送短信10s, 发送邮件10s, 依次执行完, 给用户返回结果, 总耗时30s
并行 注册写数据库10s, 然后并行发短信-发邮件10s, 给用户返回结果, 总耗时20s
异步 注册数据库10s, 写消息队列忽略不计, 给用户返回结果, 总耗时10s, 后续短信服务-邮件服务消费消息执行自己的逻辑

从上面看出异步明显减少RT, 提升吞吐, 但也明显增加了不一致

3 数据限流

瞬时流量过大会冲垮服务, 可以将请求写入消息队列, 后续服务再慢慢消费

这样有以下优点:

1 在请求和服务中间架设一层缓冲, 极大减轻服务压力

2 队列可以设置长度, 遵循FIFO, 超出长度触发拒接策略, 直接给用户拒绝响应

4 消息通讯

消息队列具有高效通信机制, 在点对点通信和聊天通信中应用也很广泛

相关推荐
wWYy.13 小时前
分布式:数据复制
分布式
正儿八经的少年18 小时前
分布式 ID
分布式
七夜zippoe19 小时前
深入解析CANN仓库中的HCCL分布式通信库
pytorch·分布式·cann·hccl·通信库
AI人工智能+电脑小能手19 小时前
【大白话说Java面试题 第188题】【08_Kafka篇】第4题:Kafka 大量消息积压时该如何处理?
java·性能优化·kafka·故障排查·消息积压
富士康质检员张全蛋19 小时前
Kafka的操作 消费者组 消费位置查看
分布式·kafka
翔云12345620 小时前
Kafka + Flink实时时流处理场景
flink·kafka
运维行者_20 小时前
如何查看每个IP的带宽使用情况?NetFlow 技术实战指南
开发语言·网络·分布式·后端·架构·带宽
笨鸟先飞的橘猫20 小时前
游戏后端分布式学习——一致性协议Raft
分布式·学习·游戏
谢白羽20 小时前
vllm源码剖析14-vLLM 分布式推理-专家并行EP
笔记·分布式·llm·论文·vllm
翔云12345621 小时前
Kafka 使用场景
kafka