Spring Boot + TDengine:工业视觉检测数据实时同步方案实战

分享一个工业软件定制项目中的数据同步实战经验。

场景

某3C代工厂,视觉检测设备每秒钟产生数十条检测结果。之前的方式是:设备输出日志文件,质检员每小时人工导入一次Excel,再手工录入MES系统。

问题很明显------实时性差、人力成本高、容易出错。需求是让检测数据实时同步到MES,同时支持历史数据查询和趋势分析。

技术选型

  • 后端:Spring Boot 2.7 + MyBatis-Plus

  • 时序数据库:TDengine(存储原始检测数据)

  • 关系数据库:PostgreSQL(存储业务摘要和配置)

  • 前端:Vue 3 + ECharts(数据看板)

  • 数据采集:基于Modbus TCP协议从视觉设备读取

为什么选择TDengine?

视觉检测设备每秒钟产生30-50条检测结果,一天下来数据量可达数百万条。如果用传统关系型数据库存储,查询良率趋势时响应时间会从秒级退化到分钟级。

TDengine的时序存储引擎对这类高频率、带时间戳的数据做了专门优化,查询同样是7天数据,PostgreSQL需要15秒,TDengine只需要200ms。

核心模块实现

  1. 数据采集层

通过Modbus TCP协议从视觉设备读取检测结果,使用Java的Modbus库(jamod)实现通信。数据解析后先写入TDengine原始数据表,再同步生成业务摘要写入PostgreSQL。

2.数据同步层

// 数据同步核心逻辑(伪代码示意)

public class DataSyncService {

// 每10秒批量同步一次

@Scheduled(fixedDelay = 10000)

public void syncDetectionData() {

// 1. 从设备缓存读取未同步数据

List<DetectionResult> results = readFromDeviceBuffer();

// 2. 解析并写入TDengine(原始数据)

tdEngineDao.batchInsert(results);

// 3. 聚合统计并更新PostgreSQL(业务摘要)

DetectionSummary summary = aggregate(results);

pgDao.updateSummary(summary);

// 4. 通过REST API推送给MES

mesClient.pushResults(summary);

}

}

3.异常处理机制

MES接口偶发超时(约5%的请求),配置了重试机制(最多3次,指数退避)和熔断降级(超时5秒后降级为异步队列)。

上线效果

  • 数据同步延迟从"小时级"降至"秒级"

  • 数据录入人力归零

  • 良率趋势看板实时更新,管理层可随时查看

📌 如需完整代码片段或详细架构图,欢迎通过CSDN私信交流。

相关推荐
武子康1 小时前
Embedding 替换怎么评测:把索引成本算进成功任务
人工智能·后端·agent
9527!到!3 小时前
Springboot @value读取配置参数踩坑&推荐解决方案
java·spring boot·spring
大哥43093 小时前
on-failure 不扛重启:一次 Docker restart 策略的反直觉排查
后端
十年Java程序媛3 小时前
Java 面试常问 this、super:构造方法调用顺序避坑
java·开发语言·spring boot·面试·个人开发
房西杭3 小时前
GM指令:仓库扩容、清空仓库(行会仓库 + 个人仓库,Lua + proto + GMMgr注册)
后端
大哥43093 小时前
不报错 ≠ 生效:三类"静默失效"缺陷与它们的共同指纹
后端
房西杭3 小时前
整理背包 SortBag 完整实现逻辑
后端
Marcus学原理3 小时前
Playwright 入门:让浏览器自动完成重复操作
后端
弦儿3 小时前
后端 Web 实战:部门管理模块全流程(前后端分离 + RESTful + 三层架构 + 日志)
后端·restful
房西杭3 小时前
背包<->仓库转移接口(BagMgr + StoreMgr,Lua)
后端