TDengine IDMP 预测、异常检测与数据插补

预测、异常检测与数据插补------三件事:明天会怎样、这个数怪不怪、这段怎么没数

一句话:IDMP 内置 TDgpt 时序 AI 能力,不写模型代码 就能做三件事------预测未来趋势、判断多变量联合异常、补齐缺失数据。它不替代大模型:大模型负责"解释",TDgpt 负责"算"。


三件完全不同的事,经常被混成一件

你真正想问的 该用什么 典型误用
"照这个趋势,什么时候会到阈值?" 预测(Forecasting) 拿阈值告警当预测用
"这几个测点同时这么变,正常吗?" 异常检测(Anomaly Detection) 给每个点单独设阈值
"传感器检修 6 小时,这段数据怎么办?" 数据插补(Imputation) 让曲线自动连过去、假装有数据

三件事对应三套方法。混着用,结果一定错,而且不会报错。


一、预测:不是"猜明天",是"给一个带区间的判断"

它做什么

拿一段历史数据训练/推理,输出未来一段时间的预测值 + 预测区间。在面板上表现为:实测曲线之后,接一段虚线和一条上下界。

关键认知:预测是区间,不是点

一个负责任的预测,永远长这样:

bash 复制代码
"未来 24 小时,2 号床层温度大概率落在 392~401℃ 之间"

而不是:

bash 复制代码
"明天 14:00 温度会到 397.3℃"

后者听起来厉害,前者才能用来做决策。 因为你要的是"要不要提前备件/降负荷",不是"猜准那个点"。

用在哪

  • 面板里叠加预测曲线(看趋势);
  • 分析工作台里做预测分析(看结论);
  • 配合事件:预测值触及阈值 → 提前告警(这是从"超标报警"到"预警"的关键一步)。

二、异常检测:单点阈值永远抓不到的那类问题

为什么阈值不够

看这三组数:

bash 复制代码
A:温度 85℃(限值 90)         ← 阈值说:正常
B:温度 88℃ 连续 4 小时不动     ← 阈值说:正常,但"不动"本身不正常
C:温度 85℃ + 振动上升 + 电流下降 ← 阈值说:三个都正常

C 才是真正危险的 :温度没超、振动没超,但三者的组合关系 变了------这通常是设备内部状态变化的早期信号。任何单点阈值都抓不到它。

两种用法

用法 怎么配 效果
单序列异常检测 在一条属性上做异常检测分析 抓"这段波形不对劲",不需要你给阈值
多变量异常检测 把多个相关测点一起喂进去 抓 C 那类"联合异常"

配合事件 + 动作,就是"提前 3 天知道"。


三、数据插补:有洞就得说清楚,不能假装没洞

洞从哪来

  • 传感器检修/更换(几小时到几天);
  • 通讯中断(几分钟到几小时);
  • 设备停机(本来就没数,不算洞)。

IDMP 怎么补

用 TDengine 的 imputation() 做插补,支持线性插补 、矩(moment)类方法 等,可以在面板里直接执行,也可以把插补结果回写。

一条铁律:插补值必须标记,不能混进原始值

为什么这么强调?

因为插补值一旦被当成真实值,会出三种事故:

  1. 计量结算错:按插补出来的流量跟客户结算电费/水费------这是真金白银的纠纷;
  2. 环保数据失真:为了"曲线好看"把超标段插平,性质就变了;
  3. 模型被污染:拿插补值去训练预测模型,模型学到的是插补算法的习惯,不是设备的行为。

所以:插补可以用于"看图连贯"和"临时分析",不能用于"对外计量"和"训练模型"。 这条要在制度上写死,不能靠人自觉。


四、一个生产实践的例子:李工把"事后报警"改成"提前三天"

还是那个化工厂的 R-201 装置(第 02 篇里那位李工)。

原来他们的模式是:超标 → 报警 → 处理。上个月 3 号床层温度波动,报警来得不算晚,但留给人的时间只有 40 分钟。

他想把窗口从 40 分钟拉长到 3 天。

第一步 · 先把"洞"补上,否则一切白谈。

他先查了半年的数据完整性:发现每次检修停机后,温度测点有 4~6 小时空窗,而每次空窗之后的头 2 小时数据都"跳"得很厉害。

如果不处理这个洞,预测模型会把"空窗后的跳变"学成正常模式。 所以第一件事是:对历史空窗做插补(并打标记),把这些区间从训练数据里排除。

第二步 · 上预测。

拿过去 90 天的床层温度做预测分析,输出未来 24 小时的预测区间,叠在面板上。

第一版结果不理想------预测区间宽得没意义。原因:没考虑负荷变化。加上"循环氢流量"作为辅助信息重新算,区间收窄了一半。

第三步 · 上多变量异常检测。

把「床层温度 + 循环氢流量 + 压缩机电流 + 床层差压」四个测点一起喂进去。

这一步抓到了上次人工没看出来的东西 :事故发生前 3 天,四个变量之间的比例关系已经开始偏移------每个单独看都正常,组合看已经不对了。

第四步 · 接事件和动作。

  • 多变量异常 → Warning 事件 → 推工艺群;
  • 预测值 24 小时内触及 410℃ → Major 事件 → 建工单;
  • 两条同时命中 → Critical → 触发 AI 做一次根因初筛。

第 47 天,凌晨。

多变量异常在 02:10 触发。工艺员到现场检查,发现是一台备用冷却器的循环阀内漏------修完花了 3 小时,生产没停。

而在旧模式下,这个故障大概率会在 3 天后表现为"温度波动",然后靠运气。

同年做年报时,财务问了一句"你们插补的那些数据能不能用来算产量?"

李工的回答是标准答案:"不能。插补值只用于看图和分析,结算和上报必须用实测数据。" 这条后来写进了他们的数据管理制度。


五、怎么用:三步上手

第一步:先做数据体检,别急着上模型

看三件事:历史有多长(建议 ≥ 3 个月)、有没有大段空窗、时间戳是否对齐。 这三件事不解决,模型输出的东西没法信。

第二步:先做插补,再做预测

顺序很重要。脏数据喂进模型,出来的是"脏得很自信"的结论。

第三步:异常检测先"只看不报警"跑两周

把事件通知关掉,只记录。两周后回看:误报多少、漏报多少 ,再决定开不开通知。一上线就报警,班组会先疯。


六、能解决什么问题

问题 1:只能事后报警

预测把窗口从"分钟级反应"拉长到"小时级/天级准备"。

问题 2:单点阈值抓不到组合异常

多变量异常检测抓"每个都正常但整体不对"的早期信号。

问题 3:数据有洞,曲线断断续续

插补让趋势可读、分析可算,并明确标注不是实测值。

问题 4:想用 AI 但不会建模

不用写模型代码,配置化完成预测/异常/插补;需要自研时另有模型开发通道。


七、边界与提醒(诚实版)

  1. 预测不等于承诺。 它是概率性的区间判断。别把"预测值"写进考核指标。
  2. 历史不够,模型就是瞎猜。 只有两周数据就上预测,结果不如看趋势图。冷启动阶段建议先用阈值 + 人工经验。
  3. 插补值绝对不能用于计量与上报。 这条比任何算法细节都重要(详见上文那条铁律)。
  4. 异常检测需要"养"。 阈值型规则是确定的,模型型规则需要一段时间的误报观测与调参。先只看不报。
  5. TDgpt 是独立组件。 它和大模型(LLM)是两套东西:LLM 负责解释与对话,TDgpt 负责数值计算。没装 TDgpt,异常检测/预测/插补都用不了。
  6. x64 CPU 需要支持 AVX2(默认模型),部署前先确认硬件。
  7. 客户反馈:需求明确,满意度缺样本。 客户研讨会里"分析滞后、决策慢"是明确列出的行业痛点,但没有客户公开评价这几个模型的准确率。对外建议说"提供该能力、可现场演示",别说"预测准确率 XX%"。

八、和别的功能怎么配合

场景 配合谁
预测越界要提前告警 实时流分析(AnomalyDetection 触发)+ 事件(第 06 / 07 篇)
预测曲线要展示 可视化面板(第 08 篇)
异常之后要追原因 根因分析(RCA)(第 09 篇)
用 AI 解释"为什么这么预测" AI 问答 / AI Function(第 02 篇)
数据质量要有制度约束 协作与交付:批注与导出(第 16 篇)

一句话记住:预测给你时间,异常给你线索,插补给你完整的图------但只有实测数据能拿去做结算。


九、关于 TDengine IDMP

TDengine IDMP(Industrial Data Management Platform)是一款 AI 原生的工业数据管理平台 。

它不负责存数据------那是 TDengine TSDB 的事;它负责给数据补上业务含义,并在这个基础上让 AI 真正跑起来。

本篇的预测 / 异常 / 插补由 TDgpt 提供,它与大模型是两条并行能力:大模型解释,TDgpt 计算。

免费版够不够用

IDMP 提供免费版,中小企业和个人用户可以直接用。

免费版与商业版在功能、性能上完全一致 ,通过年度续期 即可长期免费使用,只在测点数量 上设有上限------

对大多数中小企业来说,这个额度够用。All-in-One 装完会自动申请并激活免费许可,不需要额外配置。

怎么装:All-in-One 一键部署

All-in-One 把 IDMP、TSDB、TDgpt、TDmodel 打包成一个部署包:

环境 怎么装
Linux (Ubuntu / Kylin / openEuler / Anolis;需 root、内核 ≥ 3.10.0-1160、glibc ≥ 2.28) 执行下面的主机模式命令
Windows 10/11、Server 2019+ 下载 TDengineSetup-x64.exe,双击后选「主机方式」
Docker(Linux / macOS / Windows,Docker ≥ 20.10) 执行下面的容器模式命令;macOS 只支持 Docker 部署,需先启动 Docker Desktop
bash 复制代码
# 主机模式(Linux)
curl -fsSL https://downloads.taosdata.com/apex/latest/install.sh | bash -s -- -m apex

# 容器模式(Linux / macOS)
curl -fsSL https://downloads.taosdata.com/apex/latest/install.sh | bash -s -- -m docker

装完浏览器打开:

text 复制代码
http://localhost:6042

从其他机器访问,把 localhost 换成部署节点的 IP 或主机名。

装完先把 AI 接上

  1. 连一个大模型:OpenAI 兼容接口,填地址 / Key / 模型名;内置 15 天试用连接,可先零配置体验;
  2. (可选)装 TDgpt:本篇的异常检测、预测、缺失值填补都靠它,它独立于大模型运行;
  3. 把数据接进来:连现成的 TDengine TSDB,或用示例数据先跑通。

两点容易踩:默认部署清单是 deployment-single-node-no-tdmodel.yaml,TDmodel 仅支持 Docker 部署 ;

TDgpt 默认启用 moirai 模型,x64 CPU 需要支持 AVX2。

运维与卸载(Linux 主机模式)

操作 命令
启动 IDMP svc-tdengine-idmp start
停止 IDMP svc-tdengine-idmp stop
卸载 IDMP rmidmp

链接

回到这一篇那句话:预测给你时间,异常给你线索,插补给你完整的图------但只有实测数据能拿去做结算。

相关推荐
甲维斯1 小时前
GPT6.2“买家秀”来了,吼吼呵呵!
人工智能
艾莉丝努力练剑1 小时前
【AI大模型接入SDK】C++的SessionManager 线程安全
java·开发语言·前端·c++·人工智能·学习·安全
螺丝钉tina2 小时前
[Playwright] [20][AI] 失败分析:让AI大模型帮你debug
人工智能
MSTcheng.3 小时前
【AI应用实战】用 FastAPI + SSE 做一个自己的 AI 聊天网页:流式输出、多轮对话与完整源码
人工智能·python·大模型·fastapi·sse·ai聊天助手
字节跳动数据平台3 小时前
火山引擎 VeKnow 落地指南(上):从选场景到知识治理
大数据
codeejun3 小时前
每日一Go·MySQL-17、分页优化方案
数据库·mysql
世冠科技3 小时前
世冠科技GCEAgent重磅发布,开启复杂装备AI原生智能研发新范式
人工智能·科技·ai-native
轻松,带微笑3 小时前
AI竞争进入下半场:微软押注专业模型,通用大模型不再是唯一答案
人工智能·microsoft
CoderYanger3 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第四弹):图书管理系统(用户登录+添加图书)
java·数据库·spring boot·mysql·面试·java-ee·mybatis