从 MongoDB 到 TDengine,沃太能源实现 18 倍写入性能提升

导读

沃太能源是国内领先储能设备生产厂商,数十万储能终端遍布世界各地。此前使用 MongoDB 存储时序数据,但随着设备测点增加,MongoDB 在存储效率、写入性能、查询性能等方面暴露出短板。经过对比,沃太能源选择了专业时序数据库 TDengine,生产效能显著提升:整体上,数据压缩率超 10 倍、写入性能提升 18 倍,查询在特定场景上也实现了数倍的提升。同时减少了技术架构复杂度,实现了零代码数据接入。本文将对TDengine在沃太能源的应用情况进行详解。

1、源起

在 2024 年前,我司使用 MongoDB 数据库存储时序数据,包括运行数据、秒级数据、功率数据、能量数据、收益数据、FFR 和 FACS 数据,涉及数十万设备的千万测点数据写入存储与实时设备状态查询与分析。使用场景对数据库性能要求高,响应时延在毫秒级。

在实际使用中,随着接入设备测点的增加,MongoDB 在处理时序数据方面的局限性逐渐显现:

  • 存储效率较低,单位数据存储成本高:相较于专业时序数据库,MongoDB 存储数据压缩率较低,在海量时序数据存储时,存储开销大。且 MongoDB 尚不支持多级存储,无法按数据价值,差异化使用存储资源。

  • 写入性能较低,海量数据写入时间长:对于高频数据(毫秒级)数据写入,MongoDB 写入性能在秒级,很难满足我司储能设备高频数据采集性能要求,数据产生速度大于数据写入速度。

  • 查询性能较低,实时数据查询时间长:MongoDB 对复杂查询的支持全面,但实时查询场景所需的实时数据返回,查询性能仍不能满足生产所需。

  • 技术架构复杂,实时场景技术栈复杂:因 MongoDB 实时处理能力有限,故在技术架构设计时,需要引入 Redis,来满足实时查询需求。技术环节多,数据流转复杂,增加应用开发与技术管理复杂度。

2、探索

针对实时场景痛点,我司开始进行专业时序数据库选型,要求存储成本低写入速度快查询实时返回 ,并期望有效降低架构复杂度

经对市场多款时序数据库调研,我司从技术可控降本增效架构简洁性能优越生态丰富 五个维度进行对比,最终比选出涛思数据的 TDengine 作为我司实时数据基础数据库平台。

3**、落地**

我司 IT 团队与 TDengine 服务团队组成的项目实施团队,经过近三个月的协同工作,分阶段完成集群部署、MongoDB 数据迁移、数据库调优,以及生产割接,最终完成了我司时序数据处理基础架构从 MongoDB 向 TDengine 的迁移,在各方面均达成了项目预期目标。

例如:在设备综合信息查询场景,需要对具有 231 列的综合数据信息表,在亿级数据中查询某单一设备综合信息。此表存储设备的电压、电流、功率等信息。

使用 TDengine 后,单设备全天数据查询时间缩短至十几毫秒,单位时间业务数据查询效率提升明显,提升下游实时数据应用对客体验。

另外就是存储方面,TDengine 优秀的时序数据压缩效率,大大提升了我司数据的存储能力,压缩率达到 10 倍以上,相比旧有 MongoDB,在硬件资源上有明显的成本下降。

4、创新

TDengine企业版工具中,提供零代码数据接入组件 taosX,可以通过界面配置接入 Kafka 等三方数据源数据。我司应用 taosX,直接对接 Kafka 消息,写入数据至 TDengine,减少了系统复杂度,同时也降低了人力投入。

另我司基于 TDengine 时序数据查询的优越性能,迁移原 Redis 实时报表数据应用至 TDengine,实践效果完全满足生产性能要求,验证了 TDengine 可以在部分实时场景替代 Redis 实时数据查询功能。

5、展望

TDengine在实时场景的投产成功,增强了我司实时数据处理能力,更高效地服务于广大沃太储能客户。下一步,我司计划进一步扩大TDengine 应用承载范围,应用 TDengine 新发布的 TDgpt 与虚拟表等功能,深化时序数据应用场景,更好地服务于我司内外部客户。

关于沃太能源

沃太能源股份有限公司自 2012 年成立以来专注于储能产品的研发、生产和销售,掌握 BMS、EMS、系统集成、云管理平台等储能核心控制技术,是行业领先的全功率段储能系统提供商,致力于为家庭、 工商业园区、电网、发电站、电力公司等提供综合的新能源智慧解决方案。

公司拥有国家级"专精特新"重点小巨人、国家高新技术企业认证、国家知识产权示范企业等多项荣誉,主要产品涵盖微型、户用、工商业和大型四大储能核心领域,广泛应用于电力系统的发电、输电、配电、用电等环节,可帮助降低用电成本、 提高新能源电力使用率、减少碳排放,为可持续发展做出积极贡献。

关于作者

沃太能源云平台开发部主要负责 Alpha 储能平台的软件、通讯以及物联网平台开发,实现储能系统与设备的互联互通,提供能源管理、数据分析及远程管控等功能,实现储能平台数智化运营。

相关推荐
TDengine (老段)11 小时前
TDengine IDMP 组态面板 —— 工具箱
大数据·数据库·时序数据库·tdengine·涛思数据
薛定谔的悦1 天前
告别传统BMS!深度解读阳光电源 BM^2T 电池管理技术白皮书
linux·能源·储能·bms·ems
无忧智库2 天前
光储融合的深度重构:2024年电站建设方案的数字基因与商业进化(WORD)
能源
爬山算法2 天前
MongoDB(52)如何配置分片?
数据库·mongodb
2401_858936882 天前
51 单片机核心知识点:GPIO、中断、定时器与蜂鸣器驱动
单片机·mongodb·nosql
爬山算法3 天前
MongoDB(50)副本集中的角色有哪些?
数据库·mongodb
新新学长搞科研3 天前
【自动识别相关会议】第五届机器视觉、自动识别与检测国际学术会议(MVAID 2026)
人工智能·目标检测·计算机视觉·自动化·视觉检测·能源·语音识别
珠海西格3 天前
4 月 1 日起执行分布式光伏监控新规,直接影响从业者与项目收益
大数据·运维·服务器·分布式·能源
金融小师妹3 天前
基于多模态宏观建模与历史序列对齐:原油能源供给冲击的“类1970年代”演化路径与全球应对机制再评估
大数据·人工智能·能源
TDengine (老段)3 天前
TDengine IDMP 组态面板 —— 画布
大数据·数据库·物联网·时序数据库·tdengine·涛思数据