.Net6 记一次RabbitMq消息订阅/发布优化

首先介绍一下项目情况,项目需要设备在线实时采集,最高采集频率为1次/秒,设备上传数据时,协议规定的是10条/包,服务端通过rabbitMq接收消息,并进行存储、预警、推送等进行多层处理,因为web端要求数据实时展示,且延时不得超过1分钟,因数据量较大,消息处理不满足要求,故需要进行优化,主要分为一下三个方面:

1、首先,拆分各处理逻辑,用不同的服务进行分别处理

2、通过rabbitMq把消息发布到下一层,发布时进行合并,减少消息发布量

3、通过异步多线程的方式去处理任务

一、业务逻辑拆分

业务逻辑拆分通过WorkerService来实现,把存储、预警、推送分别分为不同的WorkerService来进行业务逻辑处理。

二、消息合并

消息合并又分为两部分,一是发布时把多个数据包消息合并之后统一进行发布,二是发布消息使用批量发布的方式。

数据合并,首先创建一个线程安全的全局变量集合A,消息订阅后,放到统一放到集合A中,当集合A中的数据达到设定的阈值(比如500条)时统一进行。

批量消息发布,代码见上篇:.Net 6 下WorkerService+RabbitMq实现消息的异步发布订阅-CSDN博客

这里不进行代码的展示,仅分享优化思路,当然过程中还有很多其他的实现小细节,由于当时没记录,现在有点忘记了,等想起来再进行补充。

经优化后,项目满足了2000台设备数据的实时上报,但未进行上限测试,优化效果还是非常明显的。

相关推荐
牛哇网络工作室4 小时前
UnityHDRP写实数字人全流程基础5—语音输入和语音识别
android·unity·c#·游戏引擎·aigc·语音识别·xcode
zlinear数据采集卡15 小时前
数据采集卡从入门到精通(9):分辨率与精度——16位卡不等于1/65536的精度
开发语言·数据库·fpga开发·开源·c#
深澈Vincel17 小时前
我用 C# + WebView2 做了一个针对“流氓软件”的“一键清理工具“:架构实践与踩坑记录
c#
zlinear数据采集卡18 小时前
数据采集卡从入门到精通(7):流水线型ADC——级级接力,高速与高精的平衡术
开发语言·arm开发·嵌入式硬件·fpga开发·c#
IT机器猫19 小时前
RabbitMQ基础二
java·spring boot·分布式·spring cloud·log4j·rabbitmq·springamqp
kingwebo'sZone20 小时前
C# 根据公式计算的方法
开发语言·c#
阿部多瑞 ABU20 小时前
告别手工核图:基于 .NET + MuPDFCore 的 CAD 等轴测 PDF 材料表提取与新旧版本对比实战
后端·算法·ui·pdf·c#
水无痕simon20 小时前
3 RabbitMQ基础
分布式·rabbitmq·ruby
条形码D20 小时前
DRG综合管理分析系统-目前已经支持CHS-DRG3.0
c#·drg·3.0分组器·drg分组器·chs-drg3.0分组器
番茄炒鸡蛋加糖2 天前
RabbitMQ 全套复盘 + Nacos+ES+MyBatis-Plus 梳理
分布式·rabbitmq