工业物联网数据架构设计

目录

• • 摘要
  • 一、数据架构设计概述
  • • [1.1 什么是数据架构](#1.1 什么是数据架构)
    • [1.2 数据架构设计原则](#1.2 数据架构设计原则)
    • [1.3 工业物联网数据特点](#1.3 工业物联网数据特点)
  • 二、数据流向设计
  • • [2.1 数据流向总览](#2.1 数据流向总览)
    • [2.2 数据采集流向](#2.2 数据采集流向)
    • [2.3 数据处理流向](#2.3 数据处理流向)
  • 三、存储策略设计
  • • [3.1 存储层次设计](#3.1 存储层次设计)
    • [3.2 存储策略选择](#3.2 存储策略选择)
    • [3.3 DolphinDB存储策略](#3.3 DolphinDB存储策略)
    • [3.4 数据压缩策略](#3.4 数据压缩策略)
  • 四、计算架构设计
  • • [4.1 计算架构类型](#4.1 计算架构类型)
    • [4.2 实时计算架构](#4.2 实时计算架构)
    • [4.3 批量计算架构](#4.3 批量计算架构)
    • [4.4 混合计算架构](#4.4 混合计算架构)
  • 五、系统集成设计
  • • [5.1 系统集成架构](#5.1 系统集成架构)
    • [5.2 数据采集集成](#5.2 数据采集集成)
    • [5.3 数据服务接口](#5.3 数据服务接口)
    • [5.4 可视化集成](#5.4 可视化集成)
  • 六、典型行业架构案例
  • • [6.1 智能制造架构](#6.1 智能制造架构)
    • [6.2 能源管理架构](#6.2 能源管理架构)
    • [6.3 智慧水务架构](#6.3 智慧水务架构)
  • 七、架构设计最佳实践
  • • [7.1 容量规划](#7.1 容量规划)
    • [7.2 高可用设计](#7.2 高可用设计)
    • [7.3 安全设计](#7.3 安全设计)
  • 八、总结
  • 参考资料

摘要

本文系统讲解工业物联网数据架构设计方法论。从数据流向设计到存储策略规划，从计算架构选择到系统集成方案，逐步带领读者构建完整的工业物联网数据平台架构。同时提供典型行业的架构设计案例，帮助读者掌握工业物联网数据架构设计的核心技能。

---

一、数据架构设计概述

1.1 什么是数据架构

数据架构是描述数据如何采集、存储、处理、分析、应用的整体设计：
数据架构层次
数据采集层
数据存储层
数据处理层
数据分析层
数据应用层
数据治理
数据安全

1.2 数据架构设计原则

原则	说明	实践
高可用	系统稳定运行	集群部署、故障转移
高性能	快速响应	分布式、缓存、索引
可扩展	灵活扩展	微服务、分布式
安全性	数据安全	加密、权限、审计
易维护	降低运维成本	监控、自动化

1.3 工业物联网数据特点

特点	架构要求	设计考量
高频采集	高吞吐写入	批量写入、异步处理
海量数据	分布式存储	分区策略、数据分层
实时分析	流计算引擎	低延迟处理
长期存储	数据生命周期管理	冷热分离、归档策略

---

二、数据流向设计

2.1 数据流向总览

数据应用
数据存储
数据采集
数据源
传感器
PLC
SCADA
MES
边缘网关
协议转换
数据清洗
实时库
历史库
归档库
监控大屏
分析报表
预测模型

2.2 数据采集流向

阶段	数据流向	处理内容
设备层	设备→网关	原始数据采集
边缘层	网关→平台	协议转换、数据清洗
平台层	平台内部	数据存储、计算
应用层	平台→应用	数据查询、展示

2.3 数据处理流向

实时数据
批量数据
原始数据
数据类型
流处理
批处理
实时结果
告警输出
统计结果
模型训练
数据服务

---

三、存储策略设计

3.1 存储层次设计

存储层次
热数据

内存/SSD
最近7天

高频访问
温数据

SSD/HDD
7天-3月

中频访问
冷数据

HDD
3月-1年

低频访问
归档数据

对象存储
1年以上

合规存档

3.2 存储策略选择

策略	适用场景	优点	缺点
全量存储	合规要求高	数据完整	成本高
降采样存储	历史趋势分析	节省空间	精度损失
分层存储	通用场景	平衡成本性能	架构复杂
归档存储	合规存档	成本最低	访问慢

3.3 DolphinDB存储策略

// 创建分层存储的分布式数据库

// 热数据库（最近7天）
db_hot = database("dfs://iot_hot", VALUE, 2024.01.01..2024.12.31)

// 温数据库（7天-3月）
db_warm = database("dfs://iot_warm", RANGE, 2024.01.01..2024.12.31)

// 冷数据库（归档）
db_cold = database("dfs://iot_cold", RANGE, 2024.01.01..2024.12.31)

// 数据迁移任务
def migrateData() {
    // 将7天前数据从热库迁移到温库
    hot_data = select * from loadTable("dfs://iot_hot", "sensor_data")
               where date(timestamp) < today() - 7
    loadTable("dfs://iot_warm", "sensor_data").append!(hot_data)
    
    // 删除热库已迁移数据
    // ...
}

// 定时执行迁移
scheduleJob("migrate", "数据迁移", migrateData, 
            00:00, 2024.01.01, 2030.12.31, 'D')

3.4 数据压缩策略

压缩方式	压缩比	适用场景
时序压缩	10:1	连续时序数据
列式压缩	5:1	分析型查询
差值压缩	20:1	渐变数据
字典压缩	8:1	枚举类型

---

四、计算架构设计

4.1 计算架构类型

计算架构
实时计算
流处理

低延迟
批量计算
批处理

高吞吐
交互计算
OLAP

灵活查询

4.2 实时计算架构

DolphinDB流计算
数据源
流表
流计算引擎
实时结果
告警输出
持久化

实时计算场景：

场景	计算内容	延迟要求
实时监控	状态统计	<100ms
实时告警	异常检测	<1s
实时分析	趋势计算	<1s
实时控制	闭环控制	<10ms

4.3 批量计算架构

DolphinDB批量计算
历史数据
批量任务
MapReduce
结果存储
报表展示

批量计算场景：

场景	计算内容	执行频率
日报表	日统计汇总	每日
月报表	月度分析	每月
数据挖掘	模型训练	按需
数据迁移	历史归档	每日

4.4 混合计算架构

// DolphinDB混合计算示例

// 实时计算：每分钟聚合
realtime_engine = createTimeSeriesEngine(
    "realtime_agg",
    60000, 60000,
    <[avg(temperature) as avg_temp, count(*) as count]>,
    sensor_stream,
    `device_id,
    `timestamp
)

// 批量计算：每日统计
def dailyStats() {
    stats = select device_id,
                   avg(temperature) as avg_temp,
                   max(temperature) as max_temp,
                   min(temperature) as min_temp,
                   count(*) as count
            from loadTable("dfs://iot_data", "sensor_data")
            where date(timestamp) = today() - 1
            group by device_id
    
    loadTable("dfs://daily_stats", "stats").append!(stats)
}

scheduleJob("daily_stats", "每日统计", dailyStats,
            00:30, 2024.01.01, 2030.12.31, 'D')

---

五、系统集成设计

5.1 系统集成架构

应用系统
数据平台
数据源
设备系统
MES系统
ERP系统
数据采集
DolphinDB
数据服务
监控大屏
分析报表
预测模型

5.2 数据采集集成

集成方式	适用场景	优点	缺点
API推送	主动推送	实时性好	需开发接口
数据库同步	数据库对接	简单可靠	有延迟
消息队列	异步解耦	高吞吐	架构复杂
文件导入	批量数据	简单	非实时

5.3 数据服务接口

// DolphinDB数据服务接口示例

// 注册HTTP接口
addHttpHandler("/api/device/latest", def(request) {
    deviceId = request.params["device_id"]
    data = select top 1 * from sensor_stream 
           where device_id = int(deviceId)
           order by timestamp desc
    return toJson(data)
})

addHttpHandler("/api/device/history", def(request) {
    deviceId = request.params["device_id"]
    startTime = temporalParse(request.params["start"], "yyyy-MM-dd HH:mm:ss")
    endTime = temporalParse(request.params["end"], "yyyy-MM-dd HH:mm:ss")
    
    data = select * from loadTable("dfs://iot_data", "sensor_data")
           where device_id = int(deviceId)
           and timestamp between startTime and endTime
    return toJson(data)
})

addHttpHandler("/api/device/stats", def(request) {
    deviceId = request.params["device_id"]
    
    stats = select avg(temperature) as avg_temp,
                  max(temperature) as max_temp,
                  min(temperature) as min_temp
           from loadTable("dfs://iot_data", "sensor_data")
           where device_id = int(deviceId)
           and date(timestamp) = today()
    return toJson(stats)
})

5.4 可视化集成

可视化工具	集成方式	适用场景
Grafana	DolphinDB数据源插件	监控大屏
Superset	SQLAlchemy连接	BI报表
自研大屏	HTTP API	定制化展示
DataV	API数据源	阿里云大屏

---

六、典型行业架构案例

6.1 智能制造架构

应用层
平台层
边缘层
设备层
数控机床
机器人
传感器
边缘网关
协议转换
DolphinDB集群
流计算引擎
分析服务
生产监控
质量追溯
预测维护

6.2 能源管理架构

层次	组件	功能
采集层	电表、气表、水表	能耗数据采集
边缘层	能源网关	数据汇聚、协议转换
平台层	DolphinDB	能耗数据存储、分析
应用层	能耗大屏、报表	能耗监控、分析

6.3 智慧水务架构

水源监测
水厂监控
管网监测
用户计量
边缘网关
DolphinDB
水务大屏
漏损分析
调度优化

---

七、架构设计最佳实践

7.1 容量规划

指标	计算方法	示例
数据量	设备数×测点数×频率×时间	10000×100×10Hz×1年=25TB
写入TPS	设备数×测点数×频率	10000×100×10=1000万TPS
存储空间	数据量×压缩比	25TB÷10=2.5TB
服务器数量	TPS÷单机能力	1000万÷100万=10台

7.2 高可用设计

设计要点	说明	实现方式
数据副本	多副本存储	副本数≥2
故障转移	自动切换	Controller选举
负载均衡	分散压力	分区分布
监控告警	及时发现	Prometheus+Grafana

7.3 安全设计

安全设计
网络安全
防火墙
VPN
数据安全
数据加密
访问控制
应用安全
身份认证
审计日志

---

八、总结

本文系统讲解了工业物联网数据架构设计：

1. 设计原则：高可用、高性能、可扩展、安全性、易维护
2. 数据流向：采集→存储→处理→分析→应用
3. 存储策略：分层存储、压缩策略、生命周期管理
4. 计算架构：实时计算、批量计算、混合计算
5. 系统集成：数据采集、数据服务、可视化集成
6. 最佳实践：容量规划、高可用、安全设计

思考题：

1. 如何根据业务需求选择合适的存储策略？
2. 实时计算和批量计算如何协同工作？
3. 如何设计高可用的工业物联网数据架构？

---

参考资料

• DolphinDB架构设计
• 工业互联网架构指南
• 数据架构设计模式