.Net6 记一次RabbitMq消息订阅/发布优化

首先介绍一下项目情况,项目需要设备在线实时采集,最高采集频率为1次/秒,设备上传数据时,协议规定的是10条/包,服务端通过rabbitMq接收消息,并进行存储、预警、推送等进行多层处理,因为web端要求数据实时展示,且延时不得超过1分钟,因数据量较大,消息处理不满足要求,故需要进行优化,主要分为一下三个方面:

1、首先,拆分各处理逻辑,用不同的服务进行分别处理

2、通过rabbitMq把消息发布到下一层,发布时进行合并,减少消息发布量

3、通过异步多线程的方式去处理任务

一、业务逻辑拆分

业务逻辑拆分通过WorkerService来实现,把存储、预警、推送分别分为不同的WorkerService来进行业务逻辑处理。

二、消息合并

消息合并又分为两部分,一是发布时把多个数据包消息合并之后统一进行发布,二是发布消息使用批量发布的方式。

数据合并,首先创建一个线程安全的全局变量集合A,消息订阅后,放到统一放到集合A中,当集合A中的数据达到设定的阈值(比如500条)时统一进行。

批量消息发布,代码见上篇:.Net 6 下WorkerService+RabbitMq实现消息的异步发布订阅-CSDN博客

这里不进行代码的展示,仅分享优化思路,当然过程中还有很多其他的实现小细节,由于当时没记录,现在有点忘记了,等想起来再进行补充。

经优化后,项目满足了2000台设备数据的实时上报,但未进行上限测试,优化效果还是非常明显的。

相关推荐
leoZ2315 小时前
第 8 篇:与 AI 协作的工作流 + 完整案例
前端·人工智能·神经网络·自然语言处理·性能优化·c#·php
fujisheng6617 小时前
Unity 异步 UI 实战:取消令牌、版本校验与旧句柄隔离
c#·unity3d
额鹅恶饿呃7 小时前
随着CentOS官方停服的时间越来越久,大量仍在使用CentOS7的企业和运维从业者
java·python·算法·c#·ruby
乌药ice7 小时前
c#中一个多线程安全的HashSet
开发语言·c#
lfSeanDragon8 小时前
数据结构-前缀树(Trie)
开发语言·c#
张人玉8 小时前
基于 C# WinForms + .NET 8 + SQLite + TCP Socket 的多连接通讯调试工具——TCP通讯助手(TcpAssistant)
tcp/ip·sqlite·c#·.net
mldong16 小时前
C# 开发者也有自己的轻量工作流引擎了:NuGet 装包,5 分钟跑通一条审批流
后端·c#·.net
samble20 小时前
从零搭建工业控制系统(二十二):线程安全与并发控制
c#·wpf·并发·mvvm·线程安全·工业控制
UIU11421 小时前
scanf与cout的误区:探究其内部的机制
c++·学习·c#·scanf
风云1 天前
MiniLog 1.0 GA 发布:零分配、零依赖的 .NET 高性能日志框架
开源·c#·.net·日志·高性能·minilog