消息队列
一、概念
- 消息队列（MQ）：一种异步通信机制，通过"消息"的形式让不同系统或模块解耦
- 核心思想：发送方（生产者Producer）只负责发送消息，接收方（消费者Consumer）只负责消费消息，两者之间通过队列（Broker）传递消息
- 优势：
- 系统解耦
- 异步处理，提高性能
- 削峰填谷（流量削峰，平稳处理高并发请求）
- 可靠通信（保证消息送达和消费）
二、底层实现原理
1. 基础模型
- Producer（生产者）：发送消息的程序/服务
- Broker（消息中间件）：消息存储与转发的核心
- Consumer（消费者）：接收并处理消息的程序
- Queue / Topic ：
- Queue（点对点，P2P）：消息只会被一个消费者接收
- Topic（发布/订阅，Pub/Sub）：一个消息可以被多个消费者接收
2. 底层关键机制
- 存储机制：磁盘顺序写（提高吞吐量）+ 内存缓存（加速访问）
- 传输协议：TCP / HTTP / 自定义协议（Kafka使用TCP + 自定义协议）
- 消息投递：支持同步投递、异步投递、批量投递
- 可靠性保障：消息确认（ACK）、重试机制、持久化存储
三、各类MQ特点
1. Kafka
-
定位：吞吐量高的分布式消息队列 & 流处理平台
-
底层实现：
- 顺序写磁盘 + 零拷贝（高性能I/O）
- 分区（Partition） + 副本（Replica）保证扩展性与高可用
- 消费者通过offset拉取消息，自行维护消费进度
-
特点：
- 高吞吐量，适合大数据场景
- 保证消息顺序（分区内有序）
- 不支持事务（0.11之后有支持，但是比较重）
-
应用场景：
- 日志收集系统（ELK、日志聚合）
- 大数据实时流处理（Flink、Spark Steaming）
- 高并发订单 / 交易消息处理
2. RabbitMQ
- 定位：功能最强大、协议最完善的消息中间件
- 消息中间件：包括消息队列、路由、持久化、事务、确认机制、协议支持等功能
- 底层实现：
- 基于Erlang开发
- 使用AMQP协议（Advanced Message Queuing Protocol）
- 支持消息路由（Exchange）+ 队列（Queue）
- 特点：
- 强调可靠行，强一致性（消息确认机制（ACK）、持久化、事务支持）
- 路由灵活（Direct、Topic、Fanout、Headers）
- 吞吐量相对Kafka低
- 应用场景：
- 电商订单系统（下单--->扣库存--->发货）
- 任务异步执行（邮箱发送、短信推送）
- 金融系统需要强一致性的场景
3. RocketMQ
- 定位：阿里巴巴开源的高可用、高可靠分布式MQ
- 底层实现：
- 基于java开发
- 消息存储基于CommitLog + ConsumeQueue索引机制
- 支持顺序消息、延迟消息、事务消息
- 特点：
- 支持海量堆积（百万级消息堆积不影响性能）
- 强调事务信息（保证最终一致性）
- 性能接近Kafka，但支持更多企业级功能
- 应用场景：
- 电商交易系统（保证事务一致性）
- 金融支付消息（高可靠）
- 延迟任务（延迟队列）
3. Redis
- 定位：缓存数据库，但也能充当轻量级消息队列
- 实现方式：
- List（LPUSH / RPOP）实现简单队列
- Pub / Sub实现发布订阅模式
- Redis Stream（5.0+）更强大，支持分组消费、持久化
- 特点：
- 极快，内存级性能
- 可靠性差（宕机可能丢消息，除非持久化）
- 不适合大规模复杂MQ场景
- 应用场景：
- 实时任务队列（轻量级异步任务）
- 简单的发布订阅（聊天室、消息推送）
- 作为Kafka / RabbitMQ的补充