消息队列

j7~4 天前
分布式·消息队列·rabbitmq·gtest·protobuf·muduo·sqlites
【C++标准项目】C++基于protobuf的发布订阅式消息队列(篇一):项目概述+环境搭建我们之前学过阻塞队列(BlockingQueue),它最典型的应用场景就是实现生产者消费者模型。生产者消费者模型是后端开发中非常常用的编程方式,它带来诸多好处:
醉颜凉7 天前
kafka·消息队列·rabbitmq·rocketmq·中间件选型
Kafka 与 RabbitMQ/RocketMQ 选型对比:场景匹配、性能基准与迁移成本消息队列作为分布式系统中的关键组件,广泛应用于解耦服务、异步处理、流量削峰和日志收集等场景。当前主流的开源消息队列包括 Apache Kafka、RabbitMQ 和 RocketMQ,它们在设计理念、架构特点和适用场景上存在显著差异。选型不当将直接影响系统性能、可扩展性和开发效率。本文将从场景匹配、性能基准和迁移成本三个维度,对这三种消息队列进行全面对比,为技术选型提供参考依据。
ShineWinsu8 天前
linux·数据库·c++·redis·缓存·消息队列·分布式架构
对于Redis:Redis的认识以及分布式系统的解析hello 大家,随着我们一个个主线以及一个个支线课程的完成,我们接下来也要进入一个很关键的支线课程了,那就是 Redis!相信大家心里一定藏着不少疑问:Redis 到底是什么?它能解决什么实际问题?我们为什么非要学它不可?
智码看视界8 天前
kafka·消息队列·pulsar·消息中间件·流处理·高吞吐·架构选型
技术选型指南:Pulsar vs Kafka:消息队列选型终极对比与压测Kafka 在日志、指标、事件流场景已经是事实标准,但它有几个结构性短板:分区即存储:分区数量直接决定吞吐和扩展性,扩分区要迁移数据
吉甫作诵16 天前
大数据·运维·分布式·kafka·消息队列
Kafka 集群安装与运维实战:消费组排查、Offset 重置与副本重分配Kafka 的日常运维里,真正让人头疼的往往不是「怎么启动」,而是三件事:消费组积压了怎么定位、位移(Offset)乱了怎么重置、__consumer_offsets 这种内部主题副本数不够怎么改。这三件事各自都有坑,而且坑基本都藏在客户端工具的版本差异和参数语义里。
happy_king_zi17 天前
kafka·消息队列·sre
kafka两种部署模式的区别Kafka 的 KRaft 模式(Kafka Raft Metadata mode)与传统的 ZooKeeper 模式的核心区别在于元数据管理方式的不同。ZooKeeper 模式依赖外部 ZooKeeper 集群来管理元数据,而 KRaft 模式将元数据管理内置到 Kafka 本身,使用 Raft 共识协议
happy_king_zi17 天前
kafka·消息队列
Kafka 3.9.2 KRaft 模式三节点集群完整部署指南Kafka是一个能够支持高并发以及流式消息处理的消息中间件,并且Kafka天生就是支持集群的,今天就主要来介绍一下如何搭建Kafka集群。
szephyr18 天前
后端·架构·kafka·消息队列·rabbitmq
消息队列入门:RabbitMQ 和 Kafka 到底怎么选,什么时候不该用消息队列不是银弹,硬塞进小项目里,你只是在给未来的自己增加一套要半夜爬起来修的分布式系统。大三做课设的时候,我把一个注册接口里"发邮件、写日志、推通知"全塞在同步调用里,结果邮件服务一抖,整个注册就 500。后来才明白,这种场景就该用消息队列。但这玩意儿到底什么时候该上、RabbitMQ 和 Kafka 又差在哪,我踩了半年才理清楚。这篇给初学者一个能直接照着选、照着跑的入门。
hey you~19 天前
消息队列·数据库架构·高可用·实时同步·最终一致性·云客服·会话数据
云客服会话数据实时同步,数据库架构怎么设计?本文系统阐述云客服会话数据实时同步的数据库架构设计,覆盖同步模式选型、业务库分库分表、CDC 变更捕获、消息队列削峰、查询库读优化、最终一致性保障、高可用容灾、性能调优与监控排查。文章给出四层可复用架构、关键配置参数、Docker Compose 可运行示例、脱敏实测指标、故障切换与对账补偿流程。核心结论:云客服会话数据同步建议采用“业务库 + CDC + 消息队列 + 查询库”异步实时链路,业务库按 session_id 哈希分片,查询库按天分区,端到端延迟 P95 控制在 500ms 内,一致性采用最
用户5313973181720 天前
kafka·消息队列
[Kafka源码揭秘] 消息写入全链路:网络IO与请求入队作为支撑每秒百万级吞吐的分布式消息系统,Kafka的高性能离不开一套设计精妙的网络通信架构。很多开发者在日常使用中只关注生产者的send API和消费者的poll方法,却很少深入了解一条消息从网络端口进入Broker后,是如何完成从字节流转业务请求的全流程。本文作为消息写入全链路系列的第一篇,将聚焦Broker端的SocketServer与RequestChannel核心组件,从源码层面拆解Kafka如何基于Reactor模式实现高效的网络请求接收、解析与入队,帮你彻底搞懂Kafka高性能网络层的设计奥秘
hey you~22 天前
kafka·消息队列·rocketmq·系统集成·云客服·多渠道接入·接口对接
云客服多渠道统一接入,消息队列技术实现方案摘要:云客服多渠道统一接入的消息队列实现方案,核心是"统一接入层 + 消息中间件 + 消费者处理层"三层架构。接入层将网页、APP、小程序、邮件、社交媒体等渠道消息标准化后投递至消息队列,处理层按业务类型消费,实现渠道解耦、削峰填谷与异步处理。本文给出架构分层、消息队列选型对比、Topic 与分区设计、接口对接规范、性能指标测算(附文档级出处)、可靠性保障、压测数据框架与监控排查方案,面向技术负责人提供可落地的工程实现参考。
滕州市燕猫虎计算机科技工作室个体工商户22 天前
消息队列·mq
RabbitMQ和RocketMQ1、开发语言: RabbitMQ是Erlang语言开发的; RocketMQ是Java语言开发的。2、协议支持: RabbitMQ使用一种开放式的消息协议(AMQP,高级消息队列协议),支持多种编程语言和消息模式; RocketMQ使用自定义的协议(MQTT,消息队列遥测传输),是一种轻量级的发布/订阅协议,具有低延迟、高吞吐量的特点。
Lucis__23 天前
linux·c++·消息队列·责任链模式·ipc
基于责任链模式的消息队列—异步处理流水线的最佳实践目录一、消息队列1、概述2、通信形式3、IPC数据结构4、消息队列数据结构5、内核表示6、接口(1)msgget
letisgo525 天前
java·面试·kafka·消息队列·rocketmq
JAVA 高级进阶10篇《消息队列实战:RocketMQ/Kafka选型与“不丢不重有序“三连解》「Java高级技能提升系列」第10篇(全20篇)· 面向2026年中高级Java岗面试 · 专栏持续更新,欢迎关注
物联网IoT小易1 个月前
物联网·mqtt·消息队列·边缘计算·mqtt协议·物联网平台
MQTT消息为什么会重复、丢失或延迟?QoS、离线消息与重连机制详解在物联网项目中,设备成功连接MQTT Broker,并不代表数据链路已经可靠。实际运行一段时间后,经常会遇到这些问题:
神威难绷泪1 个月前
linux·消息队列·共享内存
Linux消息队列 & 共享内存 笔记属于 System‑V IPC 对象,用于同一台主机上进程间通信,进程空间相互独立,依靠内核对象完成数据交互。
pnoker1 个月前
物联网·架构·kafka·消息队列·rabbitmq
IoT DC3 消息总线:六适配器可插拔设计消息队列选型的主要成本不在中间件本身,而在耦合:业务代码中散落的发送方、消费方与序列化逻辑一旦绑定特定客户端 SDK,更换队列就意味着大规模重构。
祖力551 个月前
linux·消息队列·共享内存·通信·进程间通信
进程间通信(IPC机制):消息队列与共享内存消息队列:1. 将进程间通信的数据封装成消息体发送;2. 增加消息类型,可以根据消息的类型设置数据的优先级。
Logintern092 个月前
python·架构·消息队列·进程·celery·事件循环
Celery 的底层架构正是进程池、事件循环、epoll 和协程全部组合在了一起Celery 的底层架构正是把进程池、事件循环、epoll 和协程全部组合在了一起。 它本质上是一个分布式任务队列,核心架构由 Producer(生产者)、Broker(消息中间件)、Worker(消费者)和 Result Backend(结果存储)四个角色组成。
会编程的土豆2 个月前
redis·消息队列·go·高并发
12306 春运抢票:数据一致性怎么保证🥰个人主页:会编程的土豆(欢迎来访) 💎作者简介:后端学习者 ❄️个人专栏:数据结构与算法,数据库,leetcode ✨那些你一个人走过的夜路,终将化作照亮未来的光