物联网平台MongoDB实战|(一)为什么选择MongoDB

写在前面

这是「物联网平台MongoDB实战」系列的第一篇文章。

最近在做物联网平台项目时,遇到了一个让我头疼的问题:设备数据量越来越大,传统的MySQL已经有点扛不住了。特别是那些传感器数据,结构还经常变化,用固定的表结构真的很难搞。

后来团队决定引入MongoDB,说实话刚开始我是有点抵触的,毕竟用惯了关系型数据库,总觉得NoSQL这东西不太靠谱。但是用了一段时间后发现,MongoDB在处理这种半结构化数据时确实有它的优势,特别是那种字段经常变化的设备数据。

这个系列文章主要记录我们在项目中是怎么设计和实现MongoDB服务模块的,包括一些踩过的坑和总结的经验。希望对有类似需求的朋友有帮助。

一、物联网平台的数据困境

1.1 设备数据的特殊性

物联网平台需要处理来自各种传感器和设备的实时数据,这些数据有几个很明显的特点:

(1)结构多样性

不同类型的设备产生的数据结构差异很大。比如温度传感器可能只有温度值一个字段,但一个智能电表可能同时上报电压、电流、功率、功率因数等十几个字段。更麻烦的是,同一类设备的不同型号,上报的字段也可能不一样。

之前用MySQL的时候,我们尝试过几种方案:

  • 方案一:给每种设备建一张表。结果表越来越多,维护成本爆炸。
  • 方案二:建一张大表,把所有可能的字段都列出来。结果大部分字段都是NULL,而且新设备来了还得加字段。
  • 方案三:用JSON字段存储动态数据。查询起来特别麻烦,而且没法建索引。

每种方案都有明显的问题,让人很头疼。

(2)数据量大

设备数量庞大,数据产生频率高。我们平台目前接入了几万台设备,有些设备每秒上报一次数据,一天就是几十亿条记录。这种写入量对传统关系型数据库的压力确实不小。

(3)时序性强

大部分数据都带有时间戳,需要按时间序列存储和查询。比如查询某个设备最近一小时的温度变化曲线,或者统计某个区域昨天的平均能耗。这类查询非常频繁。

(4)半结构化

数据字段可能动态变化,难以用固定的表结构描述。比如设备固件升级后,可能新增了一些上报字段;或者用户自定义了一些扩展属性,这些都需要存储。

1.2 配置信息的复杂性

除了设备数据,我们还有很多配置信息需要存储,比如:

  • 设备的配置参数(采样频率、告警阈值等)
  • 用户权限设置
  • 系统配置
  • 设备分组和标签

这些数据往往是嵌套的结构。举个例子,一个设备的配置可能是这样的:

json 复制代码
{
  "deviceId": "device_001",
  "config": {
    "sampling": {
      "interval": 5000,
      "mode": "auto"
    },
    "alerts": {
      "temperature": {
        "enabled": true,
        "threshold": {
          "min": 10,
          "max": 35
        }
      },
      "humidity": {
        "enabled": true,
        "threshold": {
          "min": 20,
          "max": 80
        }
      }
    }
  }
}

用关系型数据库的话,要么建很多关联表,要么就用JSON字段存储,但是查询起来都不太方便。比如要查「所有温度告警阈值上限大于30度的设备」,用SQL写起来就很费劲。

1.3 日志和事件存储的压力

我们的系统会产生大量的日志和事件数据:

  • 设备上线下线事件
  • 告警信息
  • 操作记录
  • 系统运行日志

这些数据的特点是写入很频繁,但是查询的模式比较多样。有时候按时间查,有时候按设备查,有时候按事件类型查。

之前用MySQL存日志,遇到几个问题:

  • 写入性能瓶颈:高峰期写入跟不上,导致日志延迟
  • 表空间膨胀:日志表增长很快,定期归档很麻烦
  • 查询效率低:按多个维度查询时,索引设计很困难

二、为什么MongoDB适合物联网场景

2.1 文档模型的天然优势

MongoDB的文档模型天然适合存储物联网数据,每个设备的数据可以作为一个文档存储,字段可以根据设备类型灵活调整。

还是拿设备数据举例,我们可以这样存储:

json 复制代码
{
  "_id": ObjectId("..."),
  "deviceCode": "temp_sensor_001",
  "deviceName": "1号温度传感器",
  "deviceType": "temperature",
  "timestamp": 1699876543000,
  "data": {
    "temperature": 25.6,
    "humidity": 65.2
  },
  "alarmStatus": 0,
  "location": {
    "building": "A栋",
    "floor": 3,
    "room": "301"
  }
}

这种存储方式有几个好处:

(1)灵活的数据结构

不同类型的设备可以有不同的字段,不需要预先定义表结构。新设备接入时,直接插入文档就行,不用担心字段不匹配的问题。

(2)嵌套文档支持

MongoDB支持嵌套文档,可以直接存储复杂的层次结构。查询时可以用点号语法,比如location.building,非常直观。

(3)数组类型支持

一个设备可能同时上报多个测点的数据,用数组存储很方便:

json 复制代码
{
  "deviceCode": "multi_sensor_001",
  "timestamp": 1699876543000,
  "points": [
    {"code": "temp_1", "value": 25.6, "unit": "℃"},
    {"code": "temp_2", "value": 26.1, "unit": "℃"},
    {"code": "humidity", "value": 65.2, "unit": "%"}
  ]
}

2.2 强大的查询能力

MongoDB的查询功能比我想象中要强大得多。

(1)嵌套字段查询

可以直接查询嵌套文档中的字段:

javascript 复制代码
// 查询A栋的所有设备
db.devices.find({"location.building": "A栋"})

// 查询温度告警阈值上限大于30度的设备配置
db.device_configs.find({
  "config.alerts.temperature.threshold.max": {$gt: 30}
})

这种查询用SQL写起来要复杂得多。

(2)数组查询

可以查询数组中满足条件的元素:

javascript 复制代码
// 查询有点位值超过100的设备
db.devices.find({
  "points.value": {$gt: 100}
})

// 查询包含特定测点的设备
db.devices.find({
  "points.code": "temp_1"
})

(3)聚合管道

MongoDB的聚合管道功能很强大,可以实现复杂的数据分析:

javascript 复制代码
// 统计每个设备的平均温度
db.device_data.aggregate([
  {$match: {deviceType: "temperature"}},
  {$group: {
    _id: "$deviceCode",
    avgTemp: {$avg: "$data.temperature"},
    count: {$sum: 1}
  }},
  {$sort: {avgTemp: -1}}
])

2.3 良好的写入性能

MongoDB的写入性能在物联网场景下表现不错,主要有几个原因:

(1)文档级别的锁

MongoDB使用文档级别的锁,写入时不会锁住整个集合。对于高并发写入的场景,这一点很重要。

(2)批量写入支持

支持批量插入操作,可以一次插入多个文档,减少网络往返:

java 复制代码
List<Document> documents = new ArrayList<>();
// ... 添加文档
collection.insertMany(documents);

(3)内存映射文件

MongoDB使用内存映射文件技术,数据文件会被映射到内存中,读写效率较高。

2.4 丰富的索引类型

MongoDB支持多种索引类型,可以针对不同的查询模式进行优化:

(1)单字段索引

javascript 复制代码
db.device_data.createIndex({"deviceCode": 1})

(2)复合索引

javascript 复制代码
db.device_data.createIndex({"deviceCode": 1, "timestamp": -1})

(3)TTL索引

自动过期删除,非常适合日志和时序数据:

javascript 复制代码
// 30天后自动删除
db.device_logs.createIndex(
  {"createdAt": 1}, 
  {expireAfterSeconds: 2592000}
)

(4)地理空间索引

支持地理位置查询,可以查询某个区域内的设备:

javascript 复制代码
db.devices.createIndex({"location.coordinates": "2dsphere"})

// 查询半径5公里内的设备
db.devices.find({
  "location.coordinates": {
    $near: {
      $geometry: {
        type: "Point",
        coordinates: [116.397, 39.909]
      },
      $maxDistance: 5000
    }
  }
})

三、项目依赖配置

决定使用MongoDB之后,我们开始搭建项目的基础设施。

3.1 Maven依赖配置

在项目的pom.xml文件中添加必要的依赖:

xml 复制代码
<dependencies>
    <!-- Spring Boot Starter -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter</artifactId>
    </dependency>
    
    <!-- MongoDB Java Driver -->
    <dependency>
        <groupId>org.mongodb</groupId>
        <artifactId>mongodb-driver-sync</artifactId>
        <version>4.8.2</version>
    </dependency>
    
    <!-- Spring Boot Configuration Processor -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-configuration-processor</artifactId>
        <optional>true</optional>
    </dependency>
    
    <!-- Lombok for reducing boilerplate code -->
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <optional>true</optional>
    </dependency>
</dependencies>

依赖说明:

  • mongodb-driver-sync:MongoDB官方的Java同步驱动,提供了完整的数据库操作API。我们选择同步驱动是因为项目代码风格偏同步,异步驱动虽然性能更好,但调试起来相对麻烦。
  • spring-boot-configuration-processor:用于生成配置元数据,这样在application.yml中配置时IDE会有提示。
  • lombok:减少样板代码,getter/setter/constructor这些就不用手写了。

3.2 构建配置

xml 复制代码
<build>
    <plugins>
        <plugin>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-maven-plugin</artifactId>
            <configuration>
                <excludes>
                    <exclude>
                        <groupId>org.projectlombok</groupId>
                        <artifactId>lombok</artifactId>
                    </exclude>
                </excludes>
            </configuration>
        </plugin>
    </plugins>
</build>

这里排除Lombok是因为它只在编译时需要,不需要打包进最终的jar文件。

3.3 配置文件

在application.yml中添加MongoDB的配置:

yaml 复制代码
mongodb:
  host: localhost
  port: 27017
  database: iot_platform
  username: 
  password: 
  connection-timeout: 10000
  socket-timeout: 10000
  max-connections-per-host: 100
  min-connections-per-host: 10

配置参数说明:

参数 说明 默认值
host MongoDB服务器地址 localhost
port MongoDB服务器端口 27017
database 数据库名称 iot_platform
connection-timeout 连接超时时间(毫秒) 10000
socket-timeout 读写超时时间(毫秒) 10000
max-connections-per-host 每个主机的最大连接数 100
min-connections-per-host 每个主机的最小连接数 10

四、架构设计原则

4.1 分层架构设计

我们采用经典的三层架构模式来设计MongoDB服务模块:

复制代码
┌─────────────────────────────────────┐
│         Controller Layer            │  ← 处理HTTP请求,参数验证
├─────────────────────────────────────┤
│          Service Layer              │  ← 业务逻辑,数据转换
├─────────────────────────────────────┤
│       Data Access Layer             │  ← MongoDB操作封装
└─────────────────────────────────────┘

(1)控制层(Controller Layer)

负责处理HTTP请求,参数验证和响应格式化。这一层不包含业务逻辑,只做请求的接收和响应的返回。

(2)服务层(Service Layer)

实现业务逻辑,提供统一的数据访问接口。这一层会调用数据访问层的方法,并在其上添加业务处理逻辑,比如数据转换、参数校验、异常处理等。

(3)数据访问层(Data Access Layer)

封装MongoDB操作,提供底层数据库访问能力。这一层直接与MongoDB交互,提供基础的CRUD操作。

这种分层设计的优势:

  • 职责分离:每层专注于特定的功能,降低耦合度
  • 可测试性:各层可以独立进行单元测试,mock也很方便
  • 可维护性:修改某一层的实现不会影响其他层
  • 可扩展性:可以方便地添加新的功能或替换实现

4.2 配置管理设计

配置这块我们用的是Spring Boot的标准做法,把MongoDB的连接参数都外部化了:

java 复制代码
@Component
@ConfigurationProperties(prefix = "mongodb")
@Data
public class MongoDBConfig {
    @Value("${mongodb.host:localhost}")
    private String host;
    
    @Value("${mongodb.port:27017}")
    private int port;
    
    @Value("${mongodb.database:iot_platform}")
    private String database;
    
    @Value("${mongodb.username:}")
    private String username;
    
    @Value("${mongodb.password:}")
    private String password;
    
    @Value("${mongodb.connection-timeout:10000}")
    private int connectionTimeout;
    
    @Value("${mongodb.socket-timeout:10000}")
    private int socketTimeout;
    
    @Value("${mongodb.max-connections-per-host:100}")
    private int maxConnectionsPerHost;
    
    @Value("${mongodb.min-connections-per-host:10}")
    private int minConnectionsPerHost;
}

这样设计的好处:

  • 环境隔离:部署到不同环境时只需要改配置文件,不用动代码。开发环境、测试环境、生产环境的配置可以完全不同。
  • 默认值支持:有默认值,本地开发的时候不用配置一大堆参数,开箱即用。
  • 类型安全:配置项有明确的类型,IDE也有提示,不容易配错。
  • 环境变量覆盖:可以用环境变量覆盖配置,在Docker/K8s部署时很方便。

4.3 核心组件规划

整个MongoDB服务模块包含以下核心组件:

组件 职责 说明
MongoDBConfig 配置管理 读取和管理MongoDB连接配置
MongoDBUtils 工具类 封装MongoDB客户端创建和基础操作
IMongoDBService 服务接口 定义统一的数据访问API
MongoDBServiceImpl 服务实现 实现业务逻辑和数据处理
MongoDBHealthIndicator 健康检查 监控MongoDB连接状态

五、一些思考

5.1 为什么不用Spring Data MongoDB?

Spring Data MongoDB确实很方便,提供了Repository接口,很多操作都不用写代码。但我们最终选择了直接使用MongoDB Java Driver,主要有几个考虑:

(1)灵活性

直接使用Driver可以更灵活地控制查询和操作。Spring Data MongoDB虽然方便,但有些复杂查询写起来反而更麻烦。

(2)性能控制

Driver层面的操作更透明,可以更精确地控制性能。比如批量操作、投影、读写分离等。

(3)学习成本

团队成员对MongoDB的原生API比较熟悉,学习Spring Data MongoDB的约定反而需要时间。

当然,如果团队已经熟悉Spring Data,用Spring Data MongoDB也是不错的选择。技术选型没有绝对的对错,适合团队的就是最好的。

5.2 关于时序数据库的考虑

物联网场景下,时序数据库(如InfluxDB、TDengine)也是一个选择。我们也做过调研,最终选择MongoDB的原因:

(1)数据类型多样性

我们的数据不全是时序数据,还有设备配置、用户信息等。用MongoDB可以统一存储,减少运维复杂度。

(2)查询灵活性

MongoDB的查询更灵活,支持各种复杂的查询模式,不只是时序查询。

(3)团队熟悉度

团队对MongoDB更熟悉,学习成本更低。

如果项目是纯粹的时序数据场景,时序数据库可能更合适。但我们的场景比较复杂,MongoDB是一个更平衡的选择。

六、小结

这篇文章介绍了我选择MongoDB的原因和整体架构设计。

回头看,MongoDB在物联网场景下确实有不少优势:文档模型灵活,设备数据结构再怎么变都不怕;嵌套文档直接存配置信息,不用折腾关联表;查询能力也比想象中强大,各种嵌套查询、聚合管道都能支持;写入性能也不错,文档级别的锁对高并发场景很友好。

不过选型这事没有银弹,关键还是看数据特点。如果你的数据量大、字段多、变化频繁,MongoDB值得一试;如果偏纯时序,InfluxDB或TDengine可能更专业。另外建议在测试环境充分验证后再上生产,建立基本的监控告警,MongoDB本身的监控指标很丰富,用起来很方便。

下一篇文章,我们深入到代码层面,看看核心组件是怎么实现的。

相关推荐
鹤落晴春36 分钟前
MySQL日志梳理
运维·数据库·mysql
五彩小白2 小时前
Redis的过期删除和内存淘汰机制
数据库·redis·缓存
学长毕设2 小时前
基于SpringBoot 博物馆文物租赁及修复管理系统-附源码
大数据·数据库·spring boot
数字新视界2 小时前
国产动环系统在环境管理中的智能化应用与发展潜力
物联网·数据中心·数据中心基础设施管理·dcim管理系统·数据中心dcim
apcipot_rain2 小时前
C++转Java日记(14)
数据库
龙腾AI白云5 小时前
数字孪生与计算机视觉:让机器看懂现场
大数据·数据库·机器学习·知识图谱·pygame
Yeats_Liao6 小时前
物联网平台优化系列(三):全局懒加载吞掉 MQTT 初始化
java·物联网·struts
千寻技术帮6 小时前
基于Spring Boot+Vue的农产品销售管理系统(源码+文档+数据库,附部署教程)
java·数据库·spring boot·后端·mysql·vue
千寻技术帮7 小时前
50055_基于AI的互帮互助小程序(源码+文档+数据库脚本+部署教程)
数据库·人工智能·小程序·毕业设计·springboot·课程设计