TDengine IDMP 基本功能(3.数据三化处理)

IDMP 产品需要对现有数据做三化处理(即数据标准化、情景化及可视化)后,数据即可使用大模型进行智能问数,无问智推的方式分析数据。

1. 数据标准化

IDMP 能处理多源异构数据,数据可以来自不同的库,甚至来自非 TDengine TSDB-Enterprise。由于数据采集侧的标准难以统一,因此我们需要提供数据标准化的处理能力。目前,IDMP 通过下述方式提供数据标准化 (Data Standardization):

  1. 无论是元素,还是元素的属性、分析、面板、看板、事件、通知等都提供模板,一方面便于管理,另外一方面便于在整个系统统一和标准化。
  2. IDMP 支持元素属性的物理单位转换。存储的数据的物理单位与显示的物理单位可以不同,进行表达式计算时,也会进行量纲的校验和物理单位的自动转换。
  3. 通过属性数据引用,IDMP 让不同数据源的不同命名统一到同一个属性名字。比如一个库里某个属性记为"温度",另外一个库里记为"WD",但通过数据引用,属性统一称为"室内温度"。
  4. 通过属性的表达式类型以及字符串构建类型的引用,IDMP 提供了数据的转换功能。比如一个数据源 A 记录的是功率,但另外一个数据源 B 记录的是电流和电压,这个时候可以将数据 B 的电流与电压相乘,得到功率。

如果没有数据的标准化,数据分析或数据价值的挖掘将极为困难,数据的汇聚,数据湖、数据仓库的建议将完全没有意义,AI 技术无法为价值的挖掘提供帮助。整个建模的过程,就是一个对数据资产进行数据标准化的过程,它依赖于企业自身的管理流程,IDMP 只是提供工具,但无法强制执行。

2. 数据情景化

数据只有具备业务语义和上下文后,业务人员或数据分析师查看数据时,数据才有业务价值。IDMP 在建模过程中,通过如下方式提供了数据的情景化 (Data Contextulization):

  1. 任何元素或属性都可配置描述信息。
  2. 元素可以配置很多静态属性,比如设备的型号、序列号等。
  3. 任何元素或属性都可配置类别,便于查找,便于打上业务标签。
  4. 任何元素或属性都可以配置附加特性,提供更加个性化的上下文。
  5. 任何元素都可以配置位置信息。
  6. 属性可以配置存储的物理单位、显示的物理单位、极限值、目标值等。

IDMP 提供元素和属性模板,让配置标准化。但 IDMP 无法强制用户对语义和上下文进行配置,因此它取决于企业自身的管理流程。整个建模的过程就是一个进行数据情景化的过程。只有这些元数据真实而且丰富,才可能做有价值的数据分析,也才可能让 AI 感知场景,并自动生成分析与面板。

3. 数据可视化

IDMP 内置了 Grafana 风格的数据可视化 (Data Visualization) 模块,它提供面板和看板。看板由一系列的面板组成,全部是拖拽操作,操作简单直接,本文档不做任何专门介绍。

任何一个元素都可以有自己的面板和看板。对于树状结构里的每个元素,因为所处层次的不同,不同层次的元素关心的指标会不一样。比如电力集团一级的面板关心的是整个集团的总发电量、总成本等,而到风机一级,关心的是这台风机的状态、发电效率等。IDMP 的这种设计适合企业管理的架构。

面板的基本操作

IDMP 面板支持趋势图、柱状图、饼图、仪表盘、统计值、富文本、表格等,后续还将支持散点图、地图、组态、热力图、事件分析图等。

查看面板时,点击面板上方的动作区的图标,您可以编辑、收藏、设置显示的时间段范围、刷新的频次、下载为图片,也可以放大某一显示区域、全屏展示等。面板的下方是图例,点击它可以隐藏或显示某个指标。

点击编辑按钮,对面板进行编辑。下面对面板的编辑操作做较为详细的介绍。

面板展示的数据类型

一个元素自身有很多属性,这些属性可以展示出来。同时,一个元素可能有多个子元素,子元素的子元素等,这些子元素之间的聚合计算会产生很多新的指标,也可以展示出来。因此在创建一个元素的面板时,在左侧树状结构区,您可以选择:

  1. 元素: 您可以选择本元素的属性,也可以选择该元素下面的子元素的属性作为展示的指标。但系统仅仅列出数据引用为 TDengine Metric 的属性,因为他们才是时序类数据,需要展示。
  2. 子元素聚合: 您可以选择本元素所拥有的子元素的子元素模板,然后选择对这个子元素模板的哪个属性进行聚合,同时可以选择一个或多个维度指标。

缺省的选择是元素。在左侧树状结构,选择一个具体属性或标签,鼠标双击就行。

面板指标 (Mertrics) 的配置

您可以对每个被选中的指标做如下的配置:

  1. 名称 (Name): 这是在 Panel 上展示的指标的名字,缺省就是属性的名字。
  2. 表达式 (Expression): IDMP 容许您在选中的属性上进行表达式计算,甚至选择多个属性进行计算。
  3. 函数 (Function):当"窗口"被设置或者有分组的"维度"选择时,表示聚合函数,缺省是 AVG。
  4. 过滤条件 (Conditions): 对原始值进行过滤的条件,以筛选数据。
  5. 时间偏移 (Time Shift): 将被展示的指标的时间戳进行偏移,用于不同时间段的趋势对比。比如设置为 -1d, 表示展示的是该指标一天前对应的数据。
  6. 预测 (Prediction): 点击可以对该指标进行时序数据预测的设置
  7. 排序 (Order by): 点击可以选择对指标进行排序,缺省是不排。

对于所有展示的指标,在指标列表的右上角,您还可以设置:

  1. 窗口 (Window): 对指标进行滑动窗口的聚合,您可以设置滑动时长以及聚合窗口的时长,缺省是不设置。
  2. 限制 (Limit): 限制指标数据展示的最大条数

面板维度 (Dimensions) 的配置

在左侧树状结构里,选择一个维度(标签),鼠标点击,即被选中。您可以对维度做如下配置:

  1. 名称 (Name): 这是在 Panel 上展示的指标的名字,缺省就是属性的名字。
  2. 过滤条件 (Conditions): 对维度值进行过滤的条件,以筛选维度。
  3. 分组 (Group by): 以维度为组进行聚合,缺省是打开。
  4. 排序 (Order by): 点击可以选择对维度进行排序,缺省是不排。

面板的可视化设置

面板处于编辑状态时,点击面板上方动作区最右侧的按钮,可以对展示做各种配置。每种面板的可视化配置参数与 Grafana 高度一致,而且因为配置的修改都将立即展示出来,所见即所得,因此本文档将不做专门介绍。

关于 TDengine

TDengine 是一款专为物联网、工业互联网等场景设计并优化的大数据平台,其核心模块是高性能、集群开源、云原生、极简的时序数据库。

它能安全高效地将大量设备每天产生的高达 TB 甚至 PB 级的数据进行汇聚、存储、分析和分发,并提供 AI 智能体对数据进行预测与异常检测,提供实时的商业洞察。

相关推荐
问道飞鱼4 分钟前
【数据库相关】TxSQL新增数据库节点步骤
数据库·mysql·txsql·新增节点
陈敬雷-充电了么-CEO兼CTO16 分钟前
具身智能模拟器:解决机器人实机训练场景局限与成本问题的创新方案
大数据·人工智能·机器学习·chatgpt·机器人·具身智能
迦蓝叶24 分钟前
JAiRouter 配置文件重构纪实 ——基于单一职责原则的模块化拆分与内聚性提升
java·网关·ai·重构·openai·prometheus·单一职责原则
张人玉35 分钟前
SQLSERVER数据备份
数据库·oracle·sqlserver
Ka1Yan41 分钟前
MySQL索引优化
开发语言·数据结构·数据库·mysql·算法
TDengine (老段)1 小时前
TDengine 时间函数 TIMETRUNCATE 用户手册
java·大数据·数据库·物联网·时序数据库·tdengine·涛思数据
Mors.1 小时前
dbeaver工具连接inceptor星环数据库
数据库
mask哥2 小时前
详解flink性能优化
java·大数据·微服务·性能优化·flink·kafka·stream
TG_yunshuguoji2 小时前
阿里云国际代理:阿里云的云数据库是什么?
服务器·数据库·安全·阿里云·云计算
huazhixuthink3 小时前
PostgreSQL三种关闭方式的区别
数据库·postgresql