写在前面
这是「物联网平台MongoDB实战」系列的第一篇文章。
最近在做物联网平台项目时,遇到了一个让我头疼的问题:设备数据量越来越大,传统的MySQL已经有点扛不住了。特别是那些传感器数据,结构还经常变化,用固定的表结构真的很难搞。
后来团队决定引入MongoDB,说实话刚开始我是有点抵触的,毕竟用惯了关系型数据库,总觉得NoSQL这东西不太靠谱。但是用了一段时间后发现,MongoDB在处理这种半结构化数据时确实有它的优势,特别是那种字段经常变化的设备数据。
这个系列文章主要记录我们在项目中是怎么设计和实现MongoDB服务模块的,包括一些踩过的坑和总结的经验。希望对有类似需求的朋友有帮助。
一、物联网平台的数据困境
1.1 设备数据的特殊性
物联网平台需要处理来自各种传感器和设备的实时数据,这些数据有几个很明显的特点:
(1)结构多样性
不同类型的设备产生的数据结构差异很大。比如温度传感器可能只有温度值一个字段,但一个智能电表可能同时上报电压、电流、功率、功率因数等十几个字段。更麻烦的是,同一类设备的不同型号,上报的字段也可能不一样。
之前用MySQL的时候,我们尝试过几种方案:
- 方案一:给每种设备建一张表。结果表越来越多,维护成本爆炸。
- 方案二:建一张大表,把所有可能的字段都列出来。结果大部分字段都是NULL,而且新设备来了还得加字段。
- 方案三:用JSON字段存储动态数据。查询起来特别麻烦,而且没法建索引。
每种方案都有明显的问题,让人很头疼。
(2)数据量大
设备数量庞大,数据产生频率高。我们平台目前接入了几万台设备,有些设备每秒上报一次数据,一天就是几十亿条记录。这种写入量对传统关系型数据库的压力确实不小。
(3)时序性强
大部分数据都带有时间戳,需要按时间序列存储和查询。比如查询某个设备最近一小时的温度变化曲线,或者统计某个区域昨天的平均能耗。这类查询非常频繁。
(4)半结构化
数据字段可能动态变化,难以用固定的表结构描述。比如设备固件升级后,可能新增了一些上报字段;或者用户自定义了一些扩展属性,这些都需要存储。
1.2 配置信息的复杂性
除了设备数据,我们还有很多配置信息需要存储,比如:
- 设备的配置参数(采样频率、告警阈值等)
- 用户权限设置
- 系统配置
- 设备分组和标签
这些数据往往是嵌套的结构。举个例子,一个设备的配置可能是这样的:
json
{
"deviceId": "device_001",
"config": {
"sampling": {
"interval": 5000,
"mode": "auto"
},
"alerts": {
"temperature": {
"enabled": true,
"threshold": {
"min": 10,
"max": 35
}
},
"humidity": {
"enabled": true,
"threshold": {
"min": 20,
"max": 80
}
}
}
}
}
用关系型数据库的话,要么建很多关联表,要么就用JSON字段存储,但是查询起来都不太方便。比如要查「所有温度告警阈值上限大于30度的设备」,用SQL写起来就很费劲。
1.3 日志和事件存储的压力
我们的系统会产生大量的日志和事件数据:
- 设备上线下线事件
- 告警信息
- 操作记录
- 系统运行日志
这些数据的特点是写入很频繁,但是查询的模式比较多样。有时候按时间查,有时候按设备查,有时候按事件类型查。
之前用MySQL存日志,遇到几个问题:
- 写入性能瓶颈:高峰期写入跟不上,导致日志延迟
- 表空间膨胀:日志表增长很快,定期归档很麻烦
- 查询效率低:按多个维度查询时,索引设计很困难
二、为什么MongoDB适合物联网场景
2.1 文档模型的天然优势
MongoDB的文档模型天然适合存储物联网数据,每个设备的数据可以作为一个文档存储,字段可以根据设备类型灵活调整。
还是拿设备数据举例,我们可以这样存储:
json
{
"_id": ObjectId("..."),
"deviceCode": "temp_sensor_001",
"deviceName": "1号温度传感器",
"deviceType": "temperature",
"timestamp": 1699876543000,
"data": {
"temperature": 25.6,
"humidity": 65.2
},
"alarmStatus": 0,
"location": {
"building": "A栋",
"floor": 3,
"room": "301"
}
}
这种存储方式有几个好处:
(1)灵活的数据结构
不同类型的设备可以有不同的字段,不需要预先定义表结构。新设备接入时,直接插入文档就行,不用担心字段不匹配的问题。
(2)嵌套文档支持
MongoDB支持嵌套文档,可以直接存储复杂的层次结构。查询时可以用点号语法,比如location.building,非常直观。
(3)数组类型支持
一个设备可能同时上报多个测点的数据,用数组存储很方便:
json
{
"deviceCode": "multi_sensor_001",
"timestamp": 1699876543000,
"points": [
{"code": "temp_1", "value": 25.6, "unit": "℃"},
{"code": "temp_2", "value": 26.1, "unit": "℃"},
{"code": "humidity", "value": 65.2, "unit": "%"}
]
}
2.2 强大的查询能力
MongoDB的查询功能比我想象中要强大得多。
(1)嵌套字段查询
可以直接查询嵌套文档中的字段:
javascript
// 查询A栋的所有设备
db.devices.find({"location.building": "A栋"})
// 查询温度告警阈值上限大于30度的设备配置
db.device_configs.find({
"config.alerts.temperature.threshold.max": {$gt: 30}
})
这种查询用SQL写起来要复杂得多。
(2)数组查询
可以查询数组中满足条件的元素:
javascript
// 查询有点位值超过100的设备
db.devices.find({
"points.value": {$gt: 100}
})
// 查询包含特定测点的设备
db.devices.find({
"points.code": "temp_1"
})
(3)聚合管道
MongoDB的聚合管道功能很强大,可以实现复杂的数据分析:
javascript
// 统计每个设备的平均温度
db.device_data.aggregate([
{$match: {deviceType: "temperature"}},
{$group: {
_id: "$deviceCode",
avgTemp: {$avg: "$data.temperature"},
count: {$sum: 1}
}},
{$sort: {avgTemp: -1}}
])
2.3 良好的写入性能
MongoDB的写入性能在物联网场景下表现不错,主要有几个原因:
(1)文档级别的锁
MongoDB使用文档级别的锁,写入时不会锁住整个集合。对于高并发写入的场景,这一点很重要。
(2)批量写入支持
支持批量插入操作,可以一次插入多个文档,减少网络往返:
java
List<Document> documents = new ArrayList<>();
// ... 添加文档
collection.insertMany(documents);
(3)内存映射文件
MongoDB使用内存映射文件技术,数据文件会被映射到内存中,读写效率较高。
2.4 丰富的索引类型
MongoDB支持多种索引类型,可以针对不同的查询模式进行优化:
(1)单字段索引
javascript
db.device_data.createIndex({"deviceCode": 1})
(2)复合索引
javascript
db.device_data.createIndex({"deviceCode": 1, "timestamp": -1})
(3)TTL索引
自动过期删除,非常适合日志和时序数据:
javascript
// 30天后自动删除
db.device_logs.createIndex(
{"createdAt": 1},
{expireAfterSeconds: 2592000}
)
(4)地理空间索引
支持地理位置查询,可以查询某个区域内的设备:
javascript
db.devices.createIndex({"location.coordinates": "2dsphere"})
// 查询半径5公里内的设备
db.devices.find({
"location.coordinates": {
$near: {
$geometry: {
type: "Point",
coordinates: [116.397, 39.909]
},
$maxDistance: 5000
}
}
})
三、项目依赖配置
决定使用MongoDB之后,我们开始搭建项目的基础设施。
3.1 Maven依赖配置
在项目的pom.xml文件中添加必要的依赖:
xml
<dependencies>
<!-- Spring Boot Starter -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter</artifactId>
</dependency>
<!-- MongoDB Java Driver -->
<dependency>
<groupId>org.mongodb</groupId>
<artifactId>mongodb-driver-sync</artifactId>
<version>4.8.2</version>
</dependency>
<!-- Spring Boot Configuration Processor -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-configuration-processor</artifactId>
<optional>true</optional>
</dependency>
<!-- Lombok for reducing boilerplate code -->
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<optional>true</optional>
</dependency>
</dependencies>
依赖说明:
mongodb-driver-sync:MongoDB官方的Java同步驱动,提供了完整的数据库操作API。我们选择同步驱动是因为项目代码风格偏同步,异步驱动虽然性能更好,但调试起来相对麻烦。spring-boot-configuration-processor:用于生成配置元数据,这样在application.yml中配置时IDE会有提示。lombok:减少样板代码,getter/setter/constructor这些就不用手写了。
3.2 构建配置
xml
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
<configuration>
<excludes>
<exclude>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
</exclude>
</excludes>
</configuration>
</plugin>
</plugins>
</build>
这里排除Lombok是因为它只在编译时需要,不需要打包进最终的jar文件。
3.3 配置文件
在application.yml中添加MongoDB的配置:
yaml
mongodb:
host: localhost
port: 27017
database: iot_platform
username:
password:
connection-timeout: 10000
socket-timeout: 10000
max-connections-per-host: 100
min-connections-per-host: 10
配置参数说明:
| 参数 | 说明 | 默认值 |
|---|---|---|
| host | MongoDB服务器地址 | localhost |
| port | MongoDB服务器端口 | 27017 |
| database | 数据库名称 | iot_platform |
| connection-timeout | 连接超时时间(毫秒) | 10000 |
| socket-timeout | 读写超时时间(毫秒) | 10000 |
| max-connections-per-host | 每个主机的最大连接数 | 100 |
| min-connections-per-host | 每个主机的最小连接数 | 10 |
四、架构设计原则
4.1 分层架构设计
我们采用经典的三层架构模式来设计MongoDB服务模块:
┌─────────────────────────────────────┐
│ Controller Layer │ ← 处理HTTP请求,参数验证
├─────────────────────────────────────┤
│ Service Layer │ ← 业务逻辑,数据转换
├─────────────────────────────────────┤
│ Data Access Layer │ ← MongoDB操作封装
└─────────────────────────────────────┘
(1)控制层(Controller Layer)
负责处理HTTP请求,参数验证和响应格式化。这一层不包含业务逻辑,只做请求的接收和响应的返回。
(2)服务层(Service Layer)
实现业务逻辑,提供统一的数据访问接口。这一层会调用数据访问层的方法,并在其上添加业务处理逻辑,比如数据转换、参数校验、异常处理等。
(3)数据访问层(Data Access Layer)
封装MongoDB操作,提供底层数据库访问能力。这一层直接与MongoDB交互,提供基础的CRUD操作。
这种分层设计的优势:
- 职责分离:每层专注于特定的功能,降低耦合度
- 可测试性:各层可以独立进行单元测试,mock也很方便
- 可维护性:修改某一层的实现不会影响其他层
- 可扩展性:可以方便地添加新的功能或替换实现
4.2 配置管理设计
配置这块我们用的是Spring Boot的标准做法,把MongoDB的连接参数都外部化了:
java
@Component
@ConfigurationProperties(prefix = "mongodb")
@Data
public class MongoDBConfig {
@Value("${mongodb.host:localhost}")
private String host;
@Value("${mongodb.port:27017}")
private int port;
@Value("${mongodb.database:iot_platform}")
private String database;
@Value("${mongodb.username:}")
private String username;
@Value("${mongodb.password:}")
private String password;
@Value("${mongodb.connection-timeout:10000}")
private int connectionTimeout;
@Value("${mongodb.socket-timeout:10000}")
private int socketTimeout;
@Value("${mongodb.max-connections-per-host:100}")
private int maxConnectionsPerHost;
@Value("${mongodb.min-connections-per-host:10}")
private int minConnectionsPerHost;
}
这样设计的好处:
- 环境隔离:部署到不同环境时只需要改配置文件,不用动代码。开发环境、测试环境、生产环境的配置可以完全不同。
- 默认值支持:有默认值,本地开发的时候不用配置一大堆参数,开箱即用。
- 类型安全:配置项有明确的类型,IDE也有提示,不容易配错。
- 环境变量覆盖:可以用环境变量覆盖配置,在Docker/K8s部署时很方便。
4.3 核心组件规划
整个MongoDB服务模块包含以下核心组件:
| 组件 | 职责 | 说明 |
|---|---|---|
| MongoDBConfig | 配置管理 | 读取和管理MongoDB连接配置 |
| MongoDBUtils | 工具类 | 封装MongoDB客户端创建和基础操作 |
| IMongoDBService | 服务接口 | 定义统一的数据访问API |
| MongoDBServiceImpl | 服务实现 | 实现业务逻辑和数据处理 |
| MongoDBHealthIndicator | 健康检查 | 监控MongoDB连接状态 |
五、一些思考
5.1 为什么不用Spring Data MongoDB?
Spring Data MongoDB确实很方便,提供了Repository接口,很多操作都不用写代码。但我们最终选择了直接使用MongoDB Java Driver,主要有几个考虑:
(1)灵活性
直接使用Driver可以更灵活地控制查询和操作。Spring Data MongoDB虽然方便,但有些复杂查询写起来反而更麻烦。
(2)性能控制
Driver层面的操作更透明,可以更精确地控制性能。比如批量操作、投影、读写分离等。
(3)学习成本
团队成员对MongoDB的原生API比较熟悉,学习Spring Data MongoDB的约定反而需要时间。
当然,如果团队已经熟悉Spring Data,用Spring Data MongoDB也是不错的选择。技术选型没有绝对的对错,适合团队的就是最好的。
5.2 关于时序数据库的考虑
物联网场景下,时序数据库(如InfluxDB、TDengine)也是一个选择。我们也做过调研,最终选择MongoDB的原因:
(1)数据类型多样性
我们的数据不全是时序数据,还有设备配置、用户信息等。用MongoDB可以统一存储,减少运维复杂度。
(2)查询灵活性
MongoDB的查询更灵活,支持各种复杂的查询模式,不只是时序查询。
(3)团队熟悉度
团队对MongoDB更熟悉,学习成本更低。
如果项目是纯粹的时序数据场景,时序数据库可能更合适。但我们的场景比较复杂,MongoDB是一个更平衡的选择。
六、小结
这篇文章介绍了我选择MongoDB的原因和整体架构设计。
回头看,MongoDB在物联网场景下确实有不少优势:文档模型灵活,设备数据结构再怎么变都不怕;嵌套文档直接存配置信息,不用折腾关联表;查询能力也比想象中强大,各种嵌套查询、聚合管道都能支持;写入性能也不错,文档级别的锁对高并发场景很友好。
不过选型这事没有银弹,关键还是看数据特点。如果你的数据量大、字段多、变化频繁,MongoDB值得一试;如果偏纯时序,InfluxDB或TDengine可能更专业。另外建议在测试环境充分验证后再上生产,建立基本的监控告警,MongoDB本身的监控指标很丰富,用起来很方便。
下一篇文章,我们深入到代码层面,看看核心组件是怎么实现的。