技术栈
消息队列
苏生Susheng
21 小时前
java
·
spring boot
·
后端
·
spring
·
kafka
·
消息队列
·
并发
【SpringBoot整合系列】Kafka的各种模式及Spring Boot整合的使用基础案例
Apache Kafka 是一个开源的流处理平台,广泛用于构建实时数据流管道和流处理应用程序。Kafka 采用发布-订阅模型,并支持多种消息通信模式,如点对点、发布-订阅、流处理等。本文将介绍 Kafka 的各种模式,以及如何使用 Spring Boot 整合每种模式。
不会飞的小龙人
1 天前
java
·
kafka
·
消息队列
·
mq
Kafka消息服务之Java工具类
注:此内容是本人在另一个技术平台发布的历史文章,转载发布到CSDN;Apache Kafka是一个开源分布式事件流平台,也是当前系统开发中流行的高性能消息队列服务,数千家公司使用它来实现高性能数据管道、流分析、数据集成和关键任务应用程序。 Kafka 可以很好地替代更传统的消息代理。消息代理的使用原因多种多样(将处理与数据生产者分离开来、缓冲未处理的消息等)。与大多数消息系统相比,Kafka 具有更好的吞吐量、内置分区、复制和容错能力,这使其成为大规模消息处理应用程序的良好解决方案。
忘忧人生
3 天前
docker
·
消息队列
·
rabbitmq
docker 安装 Rabbitmq 详解
在平常的开发工作中,我们经常会使用到 rabbitmq,rabbitmq 主要可以进行应用解耦、异步通信、流量削峰、负载均衡、消息持久化、死信队列等。比如商城系统,下单后,通过消息队列通知库存系统、积分系统、物流系统等。发送短信时通过消息队列异步通知,导入处理大文件时通过消息队列异步处理等。那么 docker 下如何安装 rabbitmq 呢?今天简单来总结下主要步骤。
dvlinker
4 天前
大数据
·
kafka
·
消息队列
·
rabbitmq
·
分布式发布订阅系统
·
kfaka大厂面试题
大数据技术Kafka详解 ⑥ | Kafka大厂面试题
kafka消费消息的offset是定义在zookeeper中的,如果想重复消费kafka的消息,可以在redis中自己记录offset的checkpoint点(n个),当想重复消费消息时,通过读取redis中的checkpoint点进行zookeeper的offset重设,这样就可以达到重复消费消息的目的了。
小高不明
6 天前
java
·
spring boot
·
spring
·
消息队列
·
rabbitmq
仿 RabbitMQ 消息队列5(实战项目)
硬盘上存储数据, 只是为了实现 “持久化” 这样的效果. 但是实际的消息存储/转发, 还是主要靠内存的结构. 对于 MQ 来说, 内存部分是更关键的, 内存速度更快, 可以达成更⾼的并发.
龙哥·三年风水
7 天前
消息队列
·
延迟队列
·
麒麟
麒麟操作系统-rabbitmq二进制安装
周全全
8 天前
kafka
·
消息队列
·
rabbitmq
·
mq
·
队列
消息队列基础知识和主流消息队列对比
消息队列(Message Queue,MQ)本质上是一个数据存储队列,用于临时保存和传输消息。消息中间件是一种基于高效、可靠的消息传递机制,实现跨平台数据通信的工具。它在分布式系统中发挥重要作用,主要用于异步处理、解耦应用、削峰限流、消息通讯,从而提升系统的性能、可用性、扩展性,并确保数据的最终一致性。
nangonghen
9 天前
redis
·
消息队列
·
kubernetes
·
hpa
·
keda
华为云kubernetes基于keda自动伸缩deployment副本(监听redis队列长度)
KEDA(Kubernetes-based Event-Driven Autoscaler,网址是https://keda.sh)是在 Kubernetes 中事件驱动的弹性伸缩器,功能非常强大。不仅支持根据基础的CPU和内存指标进行伸缩,还支持根据各种消息队列中的长度、数据库中的数据统计、QPS、Cron 定时计划以及您可以想象的任何其他指标进行伸缩。KEDA支持的所有scaler,可从如下网址里查询:
刘什么洋啊Zz
11 天前
分布式
·
kafka
·
消息队列
·
rocketmq
RocketMQ及和Kafka的区别
假设A服务过来一个请求,但是不想让B服务马上处理,需要等待一段时间才做处理,比如定时外卖的场景。 那如何处理上述问题,那就可以在服务之间加一个中间层。
lixww.cn
12 天前
redis
·
消息队列
·
asp.net core
·
signalr
ASP.NET Core SignalR的分布式部署
假设聊天室程序被部署在两台服务器上,客户端1、2连接到了服务器A上的ChatRoomHub,客户端3、4连接到服务器B上的ChatRoomHub,那么客户端1发送群聊消息时,只有客户端1、2能够收到,客户端3、4收不到;在客户端3发送群聊消息,只有客户端3、4能够收到,客户端1、2收不到。因为这两台服务器之间的ChatRoomHub没有通信。可以让多台服务器上的集线器连接到一个消息队列中,通过这个消息队列完成跨服务器的消息投递。
fajianchen
20 天前
消息队列
智能家居监控系统数据收集积压优化
假设我们正在开发一个智能家居监控系统。该系统从数百万个智能设备(如温度传感器、安全摄像头、烟雾探测器等)收集数据,并通过 RocketMQ 将这些数据传输到后端进行处理和分析。
Java 第一深情
21 天前
java
·
面试
·
消息队列
·
mq
消息队列MQ面试题解,基础面试题
主要是:解耦、异步、削峰。A 系统发送数据到 BCD 三个系统,通过接口调用发送。如果 E 系统也要这个数据呢?那如果 C系统现在不需要了呢?A 系统负责人几乎崩溃…A 系统跟其它各种乱七八糟的系统严重耦合,A 系统产生一条比较关键的数据,很多系统都需要 A 系统将这个数据发送过来。如果使用 MQ,A 系统产生一条数据,发送到 MQ 里面去,哪个系统需要数据自己去 MQ 里面消费。如果新系统需要数据,直接从MQ 里消费即可;如果某个系统不需要这条数据了,就取消对 MQ 消息的消费即可。这样下来,A 系统压
景天科技苑
1 个月前
消息队列
·
rabbitmq
·
prometheus
·
rabbitmq安装
·
rabbitmq配置
【Prometheus】RabbitMQ安装部署,如何通过prometheus监控RabbitMQ
✨✨ 欢迎大家来到景天科技苑✨✨🎈🎈 养成好习惯,先赞后看哦~🎈🎈🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi,flask等框架,云原生k8s,Prometheus监控,linux,shell脚本等实操经验,网站搭建,数据库等分享。
Hello Dam
1 个月前
分布式
·
websocket
·
消息队列
·
token 校验
接口 V2 完善:分布式环境下的 WebSocket 实现与 Token 校验
🎯 本文档详细介绍了如何使用WebSocket协议优化客户端与服务端之间的通信,特别是在处理异步订单创建通知的场景中。通过引入WebSocket代替传统的HTTP请求-响应模式,实现了服务器主动向客户端推送数据的功能,极大地提高了实时性和效率。文中首先概述了WebSocket的优势,随后深入探讨了其在分布式系统中的具体实现,包括依赖管理、网关配置、WebSocket服务类的设计以及消息队列的使用等关键环节。特别地,针对分布式架构下WebSocket连接状态同步问题,提出了一种基于消息队列广播机制的解决方
maply
1 个月前
前端
·
消息队列
·
node.js
·
colyseus
基于 Colyseus 的实时消息处理与广播机制
Colyseus 是一个用于构建实时多人游戏和协作应用的开源框架,基于 Node.js 运行,并使用 WebSocket 进行高效的消息传输。它提供了一套结构化的 API 来管理房间(Rooms)、客户端(Clients)和游戏状态(State),从而支持高效的实时消息处理与广播机制。
Linux运维技术栈
1 个月前
运维
·
分布式
·
kafka
·
消息队列
·
mq
消息队列实战指南:三大MQ 与 Kafka 适用场景全解析
前言:在当今数字化时代,分布式系统和大数据处理变得愈发普遍,消息队列作为其中的关键组件,承担着系统解耦、异步通信、流量削峰等重要职责。ActiveMQ、RabbitMQ、RocketMQ 和 Kafka 作为市场上极具代表性的消息队列产品,各自拥有独特的功能特性与适用场景。 本博客旨在深入剖析这四种消息队列的适用场景,通过详细阐述与丰富实例,为技术人员在架构选型时提供清晰且实用的参考。无论你是初涉分布式开发领域的新手,还是经验丰富的架构师,都能从中获取到有价值的信息,帮助你在面对复杂的业务需求时,做出最适
Java 第一深情
1 个月前
java
·
消息队列
·
消息幂等
业务幂等性技术架构体系之消息幂等深入剖析
在系统中当使用消息队列时,无论做哪种技术选型,有很多问题是无论如何也不能忽视的,如:消息必达、消息幂等等。本文以典型的RabbitMQ为例,讲解如何保证消息幂等的可实施解决方案,其他MQ选型均可参考。
maply
1 个月前
开发语言
·
数据库
·
redis
·
消息队列
·
lua
如何编写和运行 Lua 脚本优化复杂的 Redis 操作
Redis 是一款高性能的内存数据库,支持丰富的数据结构和多种操作。然而,在某些场景中,通过单一命令无法完成复杂操作,或者多次网络请求带来性能损耗时,Lua 脚本就成为一个强大的解决方案。本文将详细讲解如何编写和运行 Lua 脚本来优化复杂的 Redis 操作。
恩爸编程
1 个月前
消息队列
·
消息队列是什么
·
消息队列讲解
·
消息队列介绍
·
消息队列概念
·
消息队列认识
·
消息队列作用
全方位解读消息队列:原理、优势、实例与实践要点
在数字化转型浪潮下,分布式系统架构愈发复杂,消息队列成为其中关键一环。不妨把消息队列想象成一个超级“信息驿站”,在古代,各地的信件、物资运输依赖驿站周转,消息队列与之类似。系统里的不同程序模块,也就是生产者,把各类数据、指令“打包”成消息,投递到这个驿站。驿站有着一套成熟的存放、排序规则,而其他模块,即消费者,按照需求依次来驿站取走对应的消息去处理,这就巧妙实现了模块间异步通信,打破了同步通信时必须紧密对接的局限,让系统架构更具灵活性。