
IDMP 产品需要对现有数据做三化处理(即数据标准化、情景化及可视化)后,数据即可使用大模型进行智能问数,无问智推的方式分析数据。
1. 数据标准化
IDMP 能处理多源异构数据,数据可以来自不同的库,甚至来自非 TDengine TSDB-Enterprise。由于数据采集侧的标准难以统一,因此我们需要提供数据标准化的处理能力。目前,IDMP 通过下述方式提供数据标准化 (Data Standardization):
- 无论是元素,还是元素的属性、分析、面板、看板、事件、通知等都提供模板,一方面便于管理,另外一方面便于在整个系统统一和标准化。
- IDMP 支持元素属性的物理单位转换。存储的数据的物理单位与显示的物理单位可以不同,进行表达式计算时,也会进行量纲的校验和物理单位的自动转换。
- 通过属性数据引用,IDMP 让不同数据源的不同命名统一到同一个属性名字。比如一个库里某个属性记为"温度",另外一个库里记为"WD",但通过数据引用,属性统一称为"室内温度"。
- 通过属性的表达式类型以及字符串构建类型的引用,IDMP 提供了数据的转换功能。比如一个数据源 A 记录的是功率,但另外一个数据源 B 记录的是电流和电压,这个时候可以将数据 B 的电流与电压相乘,得到功率。
如果没有数据的标准化,数据分析或数据价值的挖掘将极为困难,数据的汇聚,数据湖、数据仓库的建议将完全没有意义,AI 技术无法为价值的挖掘提供帮助。整个建模的过程,就是一个对数据资产进行数据标准化的过程,它依赖于企业自身的管理流程,IDMP 只是提供工具,但无法强制执行。
2. 数据情景化
数据只有具备业务语义和上下文后,业务人员或数据分析师查看数据时,数据才有业务价值。IDMP 在建模过程中,通过如下方式提供了数据的情景化 (Data Contextulization):
- 任何元素或属性都可配置描述信息。
- 元素可以配置很多静态属性,比如设备的型号、序列号等。
- 任何元素或属性都可配置类别,便于查找,便于打上业务标签。
- 任何元素或属性都可以配置附加特性,提供更加个性化的上下文。
- 任何元素都可以配置位置信息。
- 属性可以配置存储的物理单位、显示的物理单位、极限值、目标值等。
IDMP 提供元素和属性模板,让配置标准化。但 IDMP 无法强制用户对语义和上下文进行配置,因此它取决于企业自身的管理流程。整个建模的过程就是一个进行数据情景化的过程。只有这些元数据真实而且丰富,才可能做有价值的数据分析,也才可能让 AI 感知场景,并自动生成分析与面板。
3. 数据可视化
IDMP 内置了 Grafana 风格的数据可视化 (Data Visualization) 模块,它提供面板和看板。看板由一系列的面板组成,全部是拖拽操作,操作简单直接,本文档不做任何专门介绍。
任何一个元素都可以有自己的面板和看板。对于树状结构里的每个元素,因为所处层次的不同,不同层次的元素关心的指标会不一样。比如电力集团一级的面板关心的是整个集团的总发电量、总成本等,而到风机一级,关心的是这台风机的状态、发电效率等。IDMP 的这种设计适合企业管理的架构。
面板的基本操作
IDMP 面板支持趋势图、柱状图、饼图、仪表盘、统计值、富文本、表格等,后续还将支持散点图、地图、组态、热力图、事件分析图等。
查看面板时,点击面板上方的动作区的图标,您可以编辑、收藏、设置显示的时间段范围、刷新的频次、下载为图片,也可以放大某一显示区域、全屏展示等。面板的下方是图例,点击它可以隐藏或显示某个指标。
点击编辑按钮,对面板进行编辑。下面对面板的编辑操作做较为详细的介绍。
面板展示的数据类型
一个元素自身有很多属性,这些属性可以展示出来。同时,一个元素可能有多个子元素,子元素的子元素等,这些子元素之间的聚合计算会产生很多新的指标,也可以展示出来。因此在创建一个元素的面板时,在左侧树状结构区,您可以选择:
- 元素: 您可以选择本元素的属性,也可以选择该元素下面的子元素的属性作为展示的指标。但系统仅仅列出数据引用为 TDengine Metric 的属性,因为他们才是时序类数据,需要展示。
- 子元素聚合: 您可以选择本元素所拥有的子元素的子元素模板,然后选择对这个子元素模板的哪个属性进行聚合,同时可以选择一个或多个维度指标。
缺省的选择是元素
。在左侧树状结构,选择一个具体属性或标签,鼠标双击就行。
面板指标 (Mertrics) 的配置
您可以对每个被选中的指标做如下的配置:
- 名称 (Name): 这是在 Panel 上展示的指标的名字,缺省就是属性的名字。
- 表达式 (Expression): IDMP 容许您在选中的属性上进行表达式计算,甚至选择多个属性进行计算。
- 函数 (Function):当"窗口"被设置或者有分组的"维度"选择时,表示聚合函数,缺省是 AVG。
- 过滤条件 (Conditions): 对原始值进行过滤的条件,以筛选数据。
- 时间偏移 (Time Shift): 将被展示的指标的时间戳进行偏移,用于不同时间段的趋势对比。比如设置为 -1d, 表示展示的是该指标一天前对应的数据。
- 预测 (Prediction): 点击可以对该指标进行时序数据预测的设置
- 排序 (Order by): 点击可以选择对指标进行排序,缺省是不排。
对于所有展示的指标,在指标列表的右上角,您还可以设置:
- 窗口 (Window): 对指标进行滑动窗口的聚合,您可以设置滑动时长以及聚合窗口的时长,缺省是不设置。
- 限制 (Limit): 限制指标数据展示的最大条数
面板维度 (Dimensions) 的配置
在左侧树状结构里,选择一个维度(标签),鼠标点击,即被选中。您可以对维度做如下配置:
- 名称 (Name): 这是在 Panel 上展示的指标的名字,缺省就是属性的名字。
- 过滤条件 (Conditions): 对维度值进行过滤的条件,以筛选维度。
- 分组 (Group by): 以维度为组进行聚合,缺省是打开。
- 排序 (Order by): 点击可以选择对维度进行排序,缺省是不排。
面板的可视化设置
面板处于编辑状态时,点击面板上方动作区最右侧的按钮,可以对展示做各种配置。每种面板的可视化配置参数与 Grafana 高度一致,而且因为配置的修改都将立即展示出来,所见即所得,因此本文档将不做专门介绍。
关于 TDengine
TDengine 是一款专为物联网、工业互联网等场景设计并优化的大数据平台,其核心模块是高性能、集群开源、云原生、极简的时序数据库。
它能安全高效地将大量设备每天产生的高达 TB 甚至 PB 级的数据进行汇聚、存储、分析和分发,并提供 AI 智能体对数据进行预测与异常检测,提供实时的商业洞察。