消息队列

用户531397318172 小时前
kafka·消息队列
[Kafka源码揭秘] 消息写入全链路:网络IO与请求入队作为支撑每秒百万级吞吐的分布式消息系统,Kafka的高性能离不开一套设计精妙的网络通信架构。很多开发者在日常使用中只关注生产者的send API和消费者的poll方法,却很少深入了解一条消息从网络端口进入Broker后,是如何完成从字节流转业务请求的全流程。本文作为消息写入全链路系列的第一篇,将聚焦Broker端的SocketServer与RequestChannel核心组件,从源码层面拆解Kafka如何基于Reactor模式实现高效的网络请求接收、解析与入队,帮你彻底搞懂Kafka高性能网络层的设计奥秘
hey you~2 天前
kafka·消息队列·rocketmq·系统集成·云客服·多渠道接入·接口对接
云客服多渠道统一接入,消息队列技术实现方案摘要:云客服多渠道统一接入的消息队列实现方案,核心是"统一接入层 + 消息中间件 + 消费者处理层"三层架构。接入层将网页、APP、小程序、邮件、社交媒体等渠道消息标准化后投递至消息队列,处理层按业务类型消费,实现渠道解耦、削峰填谷与异步处理。本文给出架构分层、消息队列选型对比、Topic 与分区设计、接口对接规范、性能指标测算(附文档级出处)、可靠性保障、压测数据框架与监控排查方案,面向技术负责人提供可落地的工程实现参考。
滕州市燕猫虎计算机科技工作室个体工商户2 天前
消息队列·mq
RabbitMQ和RocketMQ1、开发语言: RabbitMQ是Erlang语言开发的; RocketMQ是Java语言开发的。2、协议支持: RabbitMQ使用一种开放式的消息协议(AMQP,高级消息队列协议),支持多种编程语言和消息模式; RocketMQ使用自定义的协议(MQTT,消息队列遥测传输),是一种轻量级的发布/订阅协议,具有低延迟、高吞吐量的特点。
Lucis__3 天前
linux·c++·消息队列·责任链模式·ipc
基于责任链模式的消息队列—异步处理流水线的最佳实践目录一、消息队列1、概述2、通信形式3、IPC数据结构4、消息队列数据结构5、内核表示6、接口(1)msgget
letisgo55 天前
java·面试·kafka·消息队列·rocketmq
JAVA 高级进阶10篇《消息队列实战:RocketMQ/Kafka选型与“不丢不重有序“三连解》「Java高级技能提升系列」第10篇(全20篇)· 面向2026年中高级Java岗面试 · 专栏持续更新,欢迎关注
物联网IoT小易12 天前
物联网·mqtt·消息队列·边缘计算·mqtt协议·物联网平台
MQTT消息为什么会重复、丢失或延迟?QoS、离线消息与重连机制详解在物联网项目中,设备成功连接MQTT Broker,并不代表数据链路已经可靠。实际运行一段时间后,经常会遇到这些问题:
神威难绷泪15 天前
linux·消息队列·共享内存
Linux消息队列 & 共享内存 笔记属于 System‑V IPC 对象,用于同一台主机上进程间通信,进程空间相互独立,依靠内核对象完成数据交互。
pnoker17 天前
物联网·架构·kafka·消息队列·rabbitmq
IoT DC3 消息总线:六适配器可插拔设计消息队列选型的主要成本不在中间件本身,而在耦合:业务代码中散落的发送方、消费方与序列化逻辑一旦绑定特定客户端 SDK,更换队列就意味着大规模重构。
祖力5517 天前
linux·消息队列·共享内存·通信·进程间通信
进程间通信(IPC机制):消息队列与共享内存消息队列:1. 将进程间通信的数据封装成消息体发送;2. 增加消息类型,可以根据消息的类型设置数据的优先级。
Logintern091 个月前
python·架构·消息队列·进程·celery·事件循环
Celery 的底层架构正是进程池、事件循环、epoll 和协程全部组合在了一起Celery 的底层架构正是把进程池、事件循环、epoll 和协程全部组合在了一起。 它本质上是一个分布式任务队列,核心架构由 Producer(生产者)、Broker(消息中间件)、Worker(消费者)和 Result Backend(结果存储)四个角色组成。
会编程的土豆1 个月前
redis·消息队列·go·高并发
12306 春运抢票:数据一致性怎么保证🥰个人主页:会编程的土豆(欢迎来访) 💎作者简介:后端学习者 ❄️个人专栏:数据结构与算法,数据库,leetcode ✨那些你一个人走过的夜路,终将化作照亮未来的光
阿里云云原生1 个月前
消息队列
8.28 上海见丨AI 实时数据沙龙报名中AI 时代,企业数据架构如何跟上?AI 应用从 Demo 走向生产,企业数据底座同样需要升级:在保障高性能、高可用的同时实现弹性扩展与成本可控,还需要为 AI 应用持续供给实时数据流,让 Agent 始终基于最新的业务状态作出判断。
JavaDog程序狗1 个月前
消息队列
【Pulsar】四种消费模式怎么选大家好,我是 JavaDog 程序狗。今天聊聊 Pulsar 的消费模式,官方叫订阅类型(Subscription Type)。
AI人工智能+电脑小能手2 个月前
java·kafka·消息队列·死信队列·延时队列
【大白话说Java面试题 第192题】【08_Kafka篇】第8题:死信队列是什么?延时队列是什么?📌 PDF:大白话说Java面试题 — 08_Kafka篇📚 回答:1.1 死信的产生条件 消息成为死信(Dead Letter)通常由以下三种情况触发:
AI人工智能+电脑小能手2 个月前
java·消息队列·系统设计·分布式架构·技术选型
【大白话说Java面试题 第191题】【08_Kafka篇】第7题:消息队列的优缺点📌 PDF:大白话说Java面试题 — 08_Kafka篇📚 回答:1.1 解耦:从紧耦合到事件驱动
AI人工智能+电脑小能手2 个月前
java·kafka·消息队列·系统设计·分布式架构
【大白话说Java面试题 第190题】【08_Kafka篇】第6题:消息队列有什么作用?📌 PDF:大白话说Java面试题 — 08_Kafka篇📚 回答:1.1 耦合的三种形态与 MQ 的解耦层级
quweiie2 个月前
消息队列·rabbitmq·thinkphp消息队列
tp8使用rabbitMQ消息队列的示例环境:宝塔,debian 13\thinkphp8.1\php8.3rabbitMQ版本:4.3.2;php-amqplib版本:3.7.4
Steadfast_GG2 个月前
消息队列·rabbitmq·流量削峰·消息分发·异步解耦
RabbitMQ升级打怪之路(1) - RabbitMQ概述目录1. RabbitMQ概述前言什么是MQMQ的作用主要核心作用:为什么选择RabbitMQRabbitMQ 介绍
j7~2 个月前
linux·运维·消息队列·共享内存·信号量·system v
【Linux 系统】二十.进程间通信(共享内存、消息队列、信号量)共享内存区是最快的IPC形式。⼀旦这样的内存映射到共享它的进程的地址空间,这些进程间数据传递不再涉及到内核,换句话说是进程不再通过执⾏进⼊内核的系统调⽤来传递彼此的数据
用户6757049885022 个月前
后端·消息队列
Beanstalkd 实战指南:原来延迟队列、异步任务可以如此简单丝滑!在分布式系统中,我们经常需要处理一些耗时的后台任务,比如发送邮件、生成报表、图片处理等。为了不阻塞主流程,通常会使用消息队列 (Message Queue) 来进行异步处理。