数据接入:数据怎么进来------五条路,选错一条就是三个月的返工
一句话:IDMP 能接 OPC UA / OPC DA、MQTT、Kafka、CSV、主流数据库,也能当 PI System 的"并行接收方"。但真正决定项目成败的不是"支持多少种协议",而是"哪一层做协议转换、断了怎么补"。
一、先问一个容易被跳过的问题
项目启动会上,十有八九会直接跳到"你们支持 OPC UA 吗?"
支持。但这个问题问浅了。真正该问的是这四句:
| 该问的 | 为什么 |
|---|---|
| 现场已经有采集层了吗(Kepware / 组态软件 / 网关)? | 有的话平台只做"接收",不要重复做协议转换 |
| 数据走什么中间件?直连还是经 Kafka/MQTT? | 决定断线后能不能补、能补多久 |
| 采集频率和时间戳由谁打? | 时间戳错一小时,后面所有分析都错 |
| 网络断了谁负责补历史? | 这是现场最常扯皮的地方 |
答对这四句,接入方案基本就定了。答不对,就会在第三个月发现"数据看着有,但对不上"。
二、五条接入路径
| 路径 | 典型形式 | 适合场景 | 谁做协议转换 |
|---|---|---|---|
| ① 工业协议直连 | OPC UA、OPC DA、Sparkplug B | 设备/PLC 标准、点数不多 | 平台侧(或网关) |
| ② 消息中间件 | MQTT、Kafka、TDengine 数据订阅(TMQ) | 已有物联网平台/采集网关在推数据 | 上游 |
| ③ 文件导入 | CSV | 历史台账、一次性补数、离线数据 | 人 |
| ④ 第三方采集器 | Kepware、Telegraf、taosX 等 | 现场已有成熟采集层 | 采集器 |
| ⑤ 数据库直连 / 联邦 | MySQL、PostgreSQL、InfluxDB、TDengine TSDB | 数据已经在别的库里 | 不需要搬(见第 05 篇) |
一条务实的建议
别让平台去干采集器该干的活。
现场已经有 Kepware / 组态软件 / 网关时,最好的架构是:
bash
设备 → 现有采集层(做协议转换、做缓存补传) → 统一中间件(MQTT/Kafka) → 平台(做存储和业务)
平台专注它该做的:存得下、查得快、语义清楚 。协议适配、断线缓存、设备重连这些"脏活",交给已经在现场跑了五年的采集层------它比任何新系统都更懂现场的网线。
三、断线了怎么办:这是最容易被忽略的一段
工业现场的网络不会一直好。所以每个接入方案都要回答:断 4 小时,数据丢不丢?
| 环节 | 机制 | 结果 |
|---|---|---|
| 采集层 | 本地缓存 + 断点续传 | 断网期间数据留在网关,恢复后补发 |
| 订阅(TMQ / MQTT) | 订阅自动重连,恢复后从上次位点继续消费 | 不漏订阅、不重复消费 |
| 平台侧 | 按时间戳写入(TDengine 天然支持乱序/补写) | 补回来的历史数据能正确落位 |
| PI 迁移 | 连接器支持实时流 + 历史回填双通道 | 可以先实时、后补历史,不用一次到位 |
这四层里,只要有一层没配好,数据就会有洞。 而有洞的数据,后面所有分析都白做。
四、连接管理:一个入口,别散着配
所有数据源都收在同一个「连接」入口里管理:
- 连接定义(地址、认证、TLS、附加参数)集中存;
- 凭证密文落盘,不出现在导出接口里;轮换后旧客户端立即失效;
- 健康检查:按连接定向探测,失败项一次性批量验证、单独处理;
- 有引用的连接不能静默删除------必须先解除属性引用,否则一批点位会突然没数据。
这一条看着像"管理功能",实际是运维的救命绳:半夜数据没了,第一件事就是看连接健康状态,而不是翻日志。
五、一个生产实践的例子:化工厂的三类源,一次接完
某化工厂要接三类数据,来源完全不同:
| 数据 | 来源 | 原来怎么办 |
|---|---|---|
| 装置过程数据(8000 点) | DCS,支持 OPC UA | 老系统专线对接,改一次动一次 |
| 新增无线仪表(600 点) | 网关走 MQTT | 厂商自己一套云平台,数据出不来 |
| 历史数据(8 年) | 老 PI System | 只能看,不能查,更不能算 |
第一周 · 三条路同时走。
- 过程数据:走 OPC UA,但没让平台直连 DCS ------现场已有 Kepware,让它做协议转换和缓存,平台只接收。理由是:DCS 侧的任何变更都要走变更审批,能不碰就不碰。
- 无线仪表:MQTT 订阅,配了订阅自动重连。做了一次演练:拔网线 40 分钟,恢复后数据自动补齐,一条不少。
- 历史数据:PI 连接器,先接实时流 (当天就有一周的实时数据可用),历史回填排在第二周夜里跑------不影响白天的生产查询。
第二周 · 一致性校验。
同一个测点,PI 里的值和 IDMP 里的值拉出来对比 24 小时,逐点核。发现 3 个点的时间戳差 8 小时------因为采集侧把本地时间当成了 UTC。这类坑不核就永远发现不了,等到做日报时才发现"每天的峰值都在凌晨"。
第三周 · 出第一张图。
三类源在同一个资产模型下,画一张"装置能耗 + 无线仪表振动 + PI 历史趋势"的联合视图。业务方第一次在一个页面上看到这三类数据。
半年后的一件事最能说明接对没接对:
厂区光纤被施工挖断,断了 6 小时。恢复后:
- Kepware 缓存的数据自动补上;
- MQTT 订阅自动重连,补齐;
- 平台按时间戳落位,历史曲线连续,没有断口;
- 没有人加班。
六、怎么用:三步上手
第一步:先画一张数据流图(10 分钟的事)
在纸上写清楚:从设备到平台,经过哪几层、每层谁负责补数据。这张图比任何技术选型都重要。
第二步:先接一条链路,跑通再扩
挑一个站、10 个点 跑通:能写进 TSDB、能在 IDMP 看到、能对齐时间。别一次接 8000 点------出问题时你分不清是网络、协议、映射还是某台设备。
第三步:专门做一次"断网演练"
拔网线 30 分钟,看数据补不补回来。演练过的补数才叫补数。
七、能解决什么问题
问题 1:现场协议五花八门
OPC UA/DA、MQTT、Kafka、CSV、数据库,一套平台覆盖;不支持的走中间件转。
问题 2:不敢碰 DCS
平台只做接收方,协议转换留在现有采集层,DCS 侧变更量为零。
问题 3:断线就丢数
订阅自动重连 + 采集层缓存 + 按时间戳落位,三层兜住。
问题 4:老系统数据出不来
数据库联邦引用(第 05 篇)或 PI 连接器,不搬也能用。
问题 5:连接配错没人知道
连接健康检查 + 引用保护,问题在发生前暴露。
八、边界与提醒(诚实版)
- "支持某协议"≠"现场能通"。 中间隔着的防火墙、单向隔离装置、NAT、端口白名单,才是真难点。方案阶段就要把网络图画出来找网络组签字。
- 时间戳是头号事故源。 采集侧本地时间当 UTC 用、设备时钟漂移、时区跨年切换------每一个都会让日报"看起来正常但结论全错"。接入验收必须包含时间对齐核验。
- 别用平台替代采集层。 平台重启、升级、迁移时,采集层是唯一能保住数据的东西。
- 订阅要压测。 生产环境一次补 6 小时数据,可能等于平时 10 倍的瞬时写入量。
- 点数不是唯一指标,频率才是。 8000 点 1 秒 1 次,和 8000 点 1 分钟 1 次,是完全不同的两个项目。
- 客户反馈:偏基础设施,没人会夸它。 研讨会里客户提的是"单位、图形、AI"这些看得见的东西------接入做得好是"应该的",做得差是全盘皆输。这类能力适合放在方案书里,不适合放在 PPT 第一页。
九、和别的功能怎么配合
| 场景 | 配合谁 |
|---|---|
| 数据进来了但不知道是什么 | 资产建模 (第 03 篇)+ 批量建模(第 11 篇) |
| 不想搬数据、只想引用 | 外部数据引用与联邦查询(第 05 篇) |
| 接进来的数据要算 | 实时流分析(第 06 篇) |
| 数据有洞要补 | 缺失数据插补(第 14 篇) |
| 老 PI 系统的应用要搬过来 | PI 迁移路径(第 05 篇 + 第 16 篇) |
一句话记住:接入方案的好坏,不看支持多少协议,看断网 4 小时后数据还在不在。
回到这一篇那句话:接入方案的好坏,不看支持多少协议,看断网 4 小时后数据还在不在。