消息队列

我不会起名字3221 天前
kafka·消息队列·幂等·排查
Kafka 重复消费:自动提交位点与手动提交的 3 个错位我不会起名字322 · 后端 / 算法 / 数据库📘 技术栈 | 🧩 力扣 Hot100 | 🐹 Go 项目 | 🟥 Redis | 🐬 MySQL
爱好曙光2 天前
消息队列·幂等·ack·jetstream·nats
NATS JetStream 消费者 ack 与重投递:重复消费治理实战团队把 Kafka 换成 NATS JetStream 之后,第一周最常见的事故不是丢消息,而是同一笔订单被下游处理两次。JetStream 默认是至少一次投递。消费者崩溃、ack 超时、Nak 重试,都会让消息再次出现。如果不把 ack 语义和业务幂等绑在一起,重复消费就是必然事件。
我不会起名字3224 天前
kafka·消息队列·顺序·排查
Kafka 顺序消息为什么乱了:分区数变化与重试的 3 类原因我不会起名字322 · 后端 / 算法 / 数据库📘 技术栈 | 🧩 力扣 Hot100 | 🐹 Go 项目 | 🟥 Redis | 🐬 MySQL
Sayai4 天前
大数据·运维·分布式·kafka·消息队列
Kafka 磁盘空间治理实战:retention 保留策略、log.dirs 在线扩容、分区跨盘迁移与不停机整体换盘消息队列 Kafka 用得越久,磁盘水位告警来得越勤:日志类 topic 日增几十 GB、大分区全挤在一块盘上、系统盘被 server.log 慢慢吃光。本文把生产环境沉淀的四类存储治理手段整理成一套完整 SOP——保留策略让数据"删得快"、数据目录扩容让集群"装得下"、分区跨盘迁移让磁盘"搬得平"、整体换盘让硬件"换得走",全部支持滚动操作不停机,附踩坑清单。命令在 Kafka 2.5 与 3.9 集群上均验证过。
张彦峰ZYF8 天前
后端·kafka·消息队列·rabbitmq·isr·解耦与削峰·丢失与重复
一条消息的丢与重:Kafka 与 RabbitMQ 可靠投递的确认、位点、死信与幂等全链路目录一、消息为什么会丢、也会重(一)一条消息要跨过的三段旅程(二)三种投递语义:不丢与不重为何不可兼得
做个文艺程序员8 天前
架构·消息队列·wpf·事件驱动架构·ai-native·cqrs
MQ第12篇:AI原生消息架构演进:从MQ到事件驱动的全链路设计摘要:这是「MQ消息队列从入门到AI原生实战」系列的收尾篇。全文以一张知识地图回顾12篇文章的完整脉络,深入事件驱动架构的三大核心模式——Event Sourcing(事件溯源)、CQRS(命令查询职责分离)、Saga(分布式事务编排),梳理消息队列从"系统解耦工具"到"AI原生异步引擎"的三阶段演进路径,并展望MQ + AI + Serverless的融合方向。全文包含知识地图、模式对比表、演进路线图和可运行的Spring Boot代码,适合希望系统掌握MQ技术栈、并跟上AI原生架构趋势的Java开发者
我不会起名字3229 天前
kafka·消息队列·调优·分区
Kafka 分区数到底设几个:吞吐量、顺序性与 rebalance 代价的取舍我不会起名字322 · 后端 / 算法 / 数据库📘 技术栈 | 🧩 力扣 Hot100 | 🐹 Go 项目 | 🟥 Redis | 🐬 MySQL
我不会起名字3229 天前
kafka·消息队列·go·sarama
Go 写 Kafka 消费者:sarama 的 3 个坑与优雅退出写法我不会起名字322 · 后端 / 算法 / 数据库📘 技术栈 | 🧩 力扣 Hot100 | 🐹 Go 项目 | 🟥 Redis | 🐬 MySQL
j7~13 天前
服务器·网络·数据库·消息队列·交换机·交换机数据管理·sqlite回调原理
【仿 RabbitMQ 项目】发布订阅消息队列 (篇八):交换机数据管理模块,分层类设计、SQLite 回调原理与代码实现这节内容我们来实现交换机板块的内容,先大致看一下这个类的组成部分:a. 交换机名称b. 交换机类型c. 是否持久化标志
做个文艺程序员15 天前
spring·消息队列·activemq·java-activemq·jms
MQ第04篇:ActiveMQ深度解析:JMS规范、Spring JMS整合与企业级异步通信实战摘要:本文系统讲解ActiveMQ的核心架构与JMS规范体系,用“电话交换机”类比帮你理解Connection、Session、Destination的关系,然后通过Spring Boot搭建完整的JMS异步通信链路。全文深度对比Spring JMS与Spring AMQP的设计差异,分析ActiveMQ在金融、保险等传统企业系统中的典型场景,并给出2026年ActiveMQ Classic与Artemis分裂后的选型决策框架。适合需要维护存量ActiveMQ系统或正在评估企业级消息中间件选型的Java开
做个文艺程序员15 天前
分布式·消息队列·rabbitmq·死信队列·延迟队列
MQ第03篇:RabbitMQ进阶实战:Topic路由+死信队列+延迟消息,SaaS订单超时取消完整方案摘要:上一篇我们用RabbitMQ搭建了“订单创建→库存扣减”的消息链路,但遗留了三个关键问题:消费失败的消息去了哪里?如何实现订单超时自动取消?怎样用Topic交换机实现SaaS多租户的精准路由?本文用死信队列(DLX)解决消息兜底问题,用延迟交换机插件实现30分钟订单超时取消的完整方案,并深入对比TTL+DLX方案中致命的“队头阻塞”问题。全文包含可直接运行的Spring Boot代码和架构图,适合正在生产环境使用RabbitMQ的Java开发者。
吴爃16 天前
中间件·容量规划·消息队列·sre
小微企业 SRE 稳定性建设(四):消息链路与消费积压上一篇讨论了数据安全与生命周期管理。数据从接收到最终入库,中间往往还经过消息队列和异步消费:设备上报需要解析入库,业务事件需要更新统计,日志需要经过处理后才能检索。
做个文艺程序员17 天前
spring boot·消息队列·rabbitmq·java-rabbitmq·amqp
MQ第02篇:RabbitMQ快速上手教程:AMQP模型详解+Spring Boot整合实战(附完整代码)摘要:本文从AMQP协议模型出发,用“邮局分拣系统”的类比帮你快速理解RabbitMQ的Exchange、Queue、Binding核心概念,然后手把手用Spring Boot搭建一个“订单创建→库存扣减”的完整消息链路。全文包含可直接运行的代码、配置文件详解、管理控制台操作指南,以及5个初学者最容易踩的坑。适合有Java/Spring Boot基础、准备在生产环境使用RabbitMQ的开发者。
做个文艺程序员18 天前
kafka·消息队列·springboot·minio·事件驱动·异步处理
MinIO第05篇:MinIO事件通知机制与Kafka集成——构建SaaS平台的异步文件处理管道系列导读:前四篇我们完成了从架构认知到基础集成,再到大文件上传和多租户隔离的完整链路。但到目前为止,所有的文件处理都是“被动”的——用户上传完文件,服务端返回成功,然后呢?缩略图谁生成?视频谁转码?内容谁审核?这一篇,我们给MinIO装上“神经系统”,让文件上传自动触发下游处理,彻底告别同步阻塞。
j7~25 天前
分布式·消息队列·rabbitmq·gtest·protobuf·muduo·sqlites
【C++标准项目】C++基于protobuf的发布订阅式消息队列(篇一):项目概述+环境搭建我们之前学过阻塞队列(BlockingQueue),它最典型的应用场景就是实现生产者消费者模型。生产者消费者模型是后端开发中非常常用的编程方式,它带来诸多好处:
醉颜凉1 个月前
kafka·消息队列·rabbitmq·rocketmq·中间件选型
Kafka 与 RabbitMQ/RocketMQ 选型对比:场景匹配、性能基准与迁移成本消息队列作为分布式系统中的关键组件,广泛应用于解耦服务、异步处理、流量削峰和日志收集等场景。当前主流的开源消息队列包括 Apache Kafka、RabbitMQ 和 RocketMQ,它们在设计理念、架构特点和适用场景上存在显著差异。选型不当将直接影响系统性能、可扩展性和开发效率。本文将从场景匹配、性能基准和迁移成本三个维度,对这三种消息队列进行全面对比,为技术选型提供参考依据。
ShineWinsu1 个月前
linux·数据库·c++·redis·缓存·消息队列·分布式架构
对于Redis:Redis的认识以及分布式系统的解析hello 大家,随着我们一个个主线以及一个个支线课程的完成,我们接下来也要进入一个很关键的支线课程了,那就是 Redis!相信大家心里一定藏着不少疑问:Redis 到底是什么?它能解决什么实际问题?我们为什么非要学它不可?
智码看视界1 个月前
kafka·消息队列·pulsar·消息中间件·流处理·高吞吐·架构选型
技术选型指南:Pulsar vs Kafka:消息队列选型终极对比与压测Kafka 在日志、指标、事件流场景已经是事实标准,但它有几个结构性短板:分区即存储:分区数量直接决定吞吐和扩展性,扩分区要迁移数据
吉甫作诵1 个月前
大数据·运维·分布式·kafka·消息队列
Kafka 集群安装与运维实战:消费组排查、Offset 重置与副本重分配Kafka 的日常运维里,真正让人头疼的往往不是「怎么启动」,而是三件事:消费组积压了怎么定位、位移(Offset)乱了怎么重置、__consumer_offsets 这种内部主题副本数不够怎么改。这三件事各自都有坑,而且坑基本都藏在客户端工具的版本差异和参数语义里。
happy_king_zi1 个月前
kafka·消息队列·sre
kafka两种部署模式的区别Kafka 的 KRaft 模式(Kafka Raft Metadata mode)与传统的 ZooKeeper 模式的核心区别在于元数据管理方式的不同。ZooKeeper 模式依赖外部 ZooKeeper 集群来管理元数据,而 KRaft 模式将元数据管理内置到 Kafka 本身,使用 Raft 共识协议