TDengine IDMP 功能点—数据接入

数据接入:数据怎么进来------五条路,选错一条就是三个月的返工

一句话:IDMP 能接 OPC UA / OPC DA、MQTT、Kafka、CSV、主流数据库,也能当 PI System 的"并行接收方"。但真正决定项目成败的不是"支持多少种协议",而是"哪一层做协议转换、断了怎么补"。


一、先问一个容易被跳过的问题

项目启动会上,十有八九会直接跳到"你们支持 OPC UA 吗?"

支持。但这个问题问浅了。真正该问的是这四句:

该问的 为什么
现场已经有采集层了吗(Kepware / 组态软件 / 网关)? 有的话平台只做"接收",不要重复做协议转换
数据走什么中间件?直连还是经 Kafka/MQTT? 决定断线后能不能补、能补多久
采集频率和时间戳由谁打? 时间戳错一小时,后面所有分析都错
网络断了谁负责补历史? 这是现场最常扯皮的地方

答对这四句,接入方案基本就定了。答不对,就会在第三个月发现"数据看着有,但对不上"。


二、五条接入路径

路径 典型形式 适合场景 谁做协议转换
① 工业协议直连 OPC UA、OPC DA、Sparkplug B 设备/PLC 标准、点数不多 平台侧(或网关)
② 消息中间件 MQTT、Kafka、TDengine 数据订阅(TMQ) 已有物联网平台/采集网关在推数据 上游
③ 文件导入 CSV 历史台账、一次性补数、离线数据 人
④ 第三方采集器 Kepware、Telegraf、taosX 等 现场已有成熟采集层 采集器
⑤ 数据库直连 / 联邦 MySQL、PostgreSQL、InfluxDB、TDengine TSDB 数据已经在别的库里 不需要搬(见第 05 篇)

一条务实的建议

别让平台去干采集器该干的活。

现场已经有 Kepware / 组态软件 / 网关时,最好的架构是:

bash 复制代码
设备 → 现有采集层(做协议转换、做缓存补传) → 统一中间件(MQTT/Kafka) → 平台(做存储和业务)

平台专注它该做的:存得下、查得快、语义清楚 。协议适配、断线缓存、设备重连这些"脏活",交给已经在现场跑了五年的采集层------它比任何新系统都更懂现场的网线。


三、断线了怎么办:这是最容易被忽略的一段

工业现场的网络不会一直好。所以每个接入方案都要回答:断 4 小时,数据丢不丢?

环节 机制 结果
采集层 本地缓存 + 断点续传 断网期间数据留在网关,恢复后补发
订阅(TMQ / MQTT) 订阅自动重连,恢复后从上次位点继续消费 不漏订阅、不重复消费
平台侧 按时间戳写入(TDengine 天然支持乱序/补写) 补回来的历史数据能正确落位
PI 迁移 连接器支持实时流 + 历史回填双通道 可以先实时、后补历史,不用一次到位

这四层里,只要有一层没配好,数据就会有洞。 而有洞的数据,后面所有分析都白做。


四、连接管理:一个入口,别散着配

所有数据源都收在同一个「连接」入口里管理:

  • 连接定义(地址、认证、TLS、附加参数)集中存;
  • 凭证密文落盘,不出现在导出接口里;轮换后旧客户端立即失效;
  • 健康检查:按连接定向探测,失败项一次性批量验证、单独处理;
  • 有引用的连接不能静默删除------必须先解除属性引用,否则一批点位会突然没数据。

这一条看着像"管理功能",实际是运维的救命绳:半夜数据没了,第一件事就是看连接健康状态,而不是翻日志。


五、一个生产实践的例子:化工厂的三类源,一次接完

某化工厂要接三类数据,来源完全不同:

数据 来源 原来怎么办
装置过程数据(8000 点) DCS,支持 OPC UA 老系统专线对接,改一次动一次
新增无线仪表(600 点) 网关走 MQTT 厂商自己一套云平台,数据出不来
历史数据(8 年) 老 PI System 只能看,不能查,更不能算

第一周 · 三条路同时走。

  • 过程数据:走 OPC UA,但没让平台直连 DCS ------现场已有 Kepware,让它做协议转换和缓存,平台只接收。理由是:DCS 侧的任何变更都要走变更审批,能不碰就不碰。
  • 无线仪表:MQTT 订阅,配了订阅自动重连。做了一次演练:拔网线 40 分钟,恢复后数据自动补齐,一条不少。
  • 历史数据:PI 连接器,先接实时流 (当天就有一周的实时数据可用),历史回填排在第二周夜里跑------不影响白天的生产查询。

第二周 · 一致性校验。

同一个测点,PI 里的值和 IDMP 里的值拉出来对比 24 小时,逐点核。发现 3 个点的时间戳差 8 小时------因为采集侧把本地时间当成了 UTC。这类坑不核就永远发现不了,等到做日报时才发现"每天的峰值都在凌晨"。

第三周 · 出第一张图。

三类源在同一个资产模型下,画一张"装置能耗 + 无线仪表振动 + PI 历史趋势"的联合视图。业务方第一次在一个页面上看到这三类数据。

半年后的一件事最能说明接对没接对:

厂区光纤被施工挖断,断了 6 小时。恢复后:

  • Kepware 缓存的数据自动补上;
  • MQTT 订阅自动重连,补齐;
  • 平台按时间戳落位,历史曲线连续,没有断口;
  • 没有人加班。

六、怎么用:三步上手

第一步:先画一张数据流图(10 分钟的事)

在纸上写清楚:从设备到平台,经过哪几层、每层谁负责补数据。这张图比任何技术选型都重要。

第二步:先接一条链路,跑通再扩

挑一个站、10 个点 跑通:能写进 TSDB、能在 IDMP 看到、能对齐时间。别一次接 8000 点------出问题时你分不清是网络、协议、映射还是某台设备。

第三步:专门做一次"断网演练"

拔网线 30 分钟,看数据补不补回来。演练过的补数才叫补数。


七、能解决什么问题

问题 1:现场协议五花八门

OPC UA/DA、MQTT、Kafka、CSV、数据库,一套平台覆盖;不支持的走中间件转。

问题 2:不敢碰 DCS

平台只做接收方,协议转换留在现有采集层,DCS 侧变更量为零。

问题 3:断线就丢数

订阅自动重连 + 采集层缓存 + 按时间戳落位,三层兜住。

问题 4:老系统数据出不来

数据库联邦引用(第 05 篇)或 PI 连接器,不搬也能用。

问题 5:连接配错没人知道

连接健康检查 + 引用保护,问题在发生前暴露。


八、边界与提醒(诚实版)

  1. "支持某协议"≠"现场能通"。 中间隔着的防火墙、单向隔离装置、NAT、端口白名单,才是真难点。方案阶段就要把网络图画出来找网络组签字。
  2. 时间戳是头号事故源。 采集侧本地时间当 UTC 用、设备时钟漂移、时区跨年切换------每一个都会让日报"看起来正常但结论全错"。接入验收必须包含时间对齐核验。
  3. 别用平台替代采集层。 平台重启、升级、迁移时,采集层是唯一能保住数据的东西。
  4. 订阅要压测。 生产环境一次补 6 小时数据,可能等于平时 10 倍的瞬时写入量。
  5. 点数不是唯一指标,频率才是。 8000 点 1 秒 1 次,和 8000 点 1 分钟 1 次,是完全不同的两个项目。
  6. 客户反馈:偏基础设施,没人会夸它。 研讨会里客户提的是"单位、图形、AI"这些看得见的东西------接入做得好是"应该的",做得差是全盘皆输。这类能力适合放在方案书里,不适合放在 PPT 第一页。

九、和别的功能怎么配合

场景 配合谁
数据进来了但不知道是什么 资产建模 (第 03 篇)+ 批量建模(第 11 篇)
不想搬数据、只想引用 外部数据引用与联邦查询(第 05 篇)
接进来的数据要算 实时流分析(第 06 篇)
数据有洞要补 缺失数据插补(第 14 篇)
老 PI 系统的应用要搬过来 PI 迁移路径(第 05 篇 + 第 16 篇)

一句话记住:接入方案的好坏,不看支持多少协议,看断网 4 小时后数据还在不在。


回到这一篇那句话:接入方案的好坏,不看支持多少协议,看断网 4 小时后数据还在不在。

相关推荐
索西引擎37 分钟前
MySQL 进阶:视图、存储过程、存储函数与触发器
数据库·mysql
隔窗听雨眠1 小时前
净水机物联网平台的多模数据库落地实践
物联网·时序数据库·kwdb
bksczm2 小时前
InnoDB 通用表空间与临时表空间详解
大数据·数据库·mysql
靠沿2 小时前
MySQL数据库进阶——存储过程和触发器
java·数据库·mysql
码少女3 小时前
MySQL--库与表的增删改查基础
java·数据库·mysql
阿里云大数据AI技术3 小时前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能
Eyfcom3 小时前
〖物流 SaaS 实战 02〗SaaS 租户的计费与订阅模型:从“一锤子买卖”到“按需订阅”
linux·服务器·数据库·快递系统·物流saas实战
衡石科技4 小时前
企业级 BI 的安全治理:衡石如何贯通认证、数据权限与审计
大数据·人工智能·安全·商业智能
打工的小王4 小时前
postgresql和mysql对比
数据库·mysql·postgresql