时序数据库 IoTDB 发布端边云原生解决方案,有效优化工业互联网数据上传时效与资源消耗...

2023 年 9 月 8 日,由中国通信学会、福建省工业和信息化厅主办的 2023 中国国际工业互联网创新发展大会在厦门举办。大会主论坛中,时序数据库 IoTDB 发表其自研建立的端边云原生解决方案,该方案可实现端侧设备、边缘服务器、数据中心数据的协同汇聚,达到数据实时上传、带宽成本控制、与多终端同步管理

01

关于大会

为贯彻落实国家两个强国发展战略,推动工业化和信息化融合发展,2023 中国国际工业互联网创新发展大会于 9 月 8 日 - 11 日与第二十三届投治会同期举办,旨在通过政策研读、行业前瞻、成果展示、创新案例发布、投资洽谈等形式,展示我国工业互联网创新技术和应用的现状以及发展成就,同时聚焦工业互联网核心技术领域及前沿应用,发布行业创新成果,助力科技成果产业化,推动我国工业互联网领域高质量发展。大会邀请超 6000 家技术企业与超 1000 家投资机构;致力加强大会在工业互联网行业的辐射范围与影响力,希望共同探讨如何以工业互联网行业前沿的技术、理念服务企业。

02

IoTDB 解决方案概要

IoTDB 是一款在国家自然科学基金、科技部、工信部、中国科协与中国通信学会的大力支持下,由清华大学发起,国产自主研发的工业互联网时序数据库产品。该项目也是我国科研机构目前唯一入选国际 Apache 开源软件基金会的项目,开源社区成员覆盖中、德、美等工业大国。IoTDB 覆盖了时序数据写入、存储、查询、计算全生命周期,具有多协议兼容、高压缩比、高通量读写等多项性能优势。目前在电力能源、飞机制造、车联网、钢铁冶炼、智慧工厂等行业均得到应用,已服务中央骨干、工业龙头企业超过 1000 家。

工业互联网场景下,以设备、传感器等终端上报的时序数据,成为多行业的价值主体。而工业互联网时代是端边云协同的时代:端是终端装备,用于采集数据;边是边缘控制器,用于汇集数据;云是云端服务器,用于处理数据。这种"端侧采集、边侧汇聚、云上处理"的数据上行链路,和"云上训练、边上推理、端侧执行"的数据下行链路,构成了工业互联网端边云场景的闭环

传统方案下,端侧数据即采即报即丢,但无法将全量数据如数上传,丢失掉了重要的装备运行细节数据;边缘侧存储能力弱,本地难以保留长周期历史数据,阻断了在边缘本地做实时智能化应用的潜在可能;云侧将所有边缘侧数据全部重新处理,其计算资源需求量是边缘侧设备的总和,其资源需求随着边缘侧设备的不断增加最终会难以为继。

为有效解决这一难题,IoTDB 发布的端边云原生解决方案,新增了多个端-边-云版本系统模块,重制了两种端-边-云数据协同模式,实现了多形态部署与端边云协同

在端侧,IoTDB 全新研制了基于 C++ 的数据库文件形态产品,在数十 M 甚至数 M 内存下,能够以 10 倍以上压缩率、百万点每秒吞吐率实现单设备全量数据管理 。在边侧,IoTDB 升级了单机数据库形态产品,在 10M 到 GB 内存下,实现多设备全量长周期数据管理 。在云侧,IoTDB 重制了分布式数据库形态产品,能够支持亿级测点,每秒数亿点读写吞吐,并创新了副本机制,较其他系统直接节省 30% 的存储和服务器 。此外,IoTDB 天生的语言特性使其能够与当前大数据生态无缝衔接。通过上述三类产品形态,实现了端-边-云多场景的全面覆盖,解决了端侧、边侧设备存储能力弱、丢失细节数据的痛点

同时,IoTDB 提出基于逐点的实时同步机制和基于 TsFile 列式数据存储文件的批量同步模式,同时覆盖了低延迟同步和高吞吐同步两类场景 。以基于 TsFile 数据库文件的同步模式为例,在端侧,通过采用文件形态产品,端侧装备直接生成时序数据高压缩文件,并通过同步模块将数据增量同步至边侧 IoTDB 实例。多个 IoTDB 边缘侧实例再将汇聚的时序数据文件集合增量式上传至云侧 IoTDB,从而使得云侧集群在不消耗额外 CPU、内存的情况下,利用端侧、边侧 CPU 资源整理好的数据,直接落到云侧服务器硬盘中进行管理。从而解决当前云侧重复处理数据、资源需求无上限的痛点

因数据文件的统一性与实时、批量同步的灵活切换性,该方案兼顾数据上传的时效性、网络带宽的节省、以及接收端的资源消耗,可有效适应边侧、云侧的不同资源、环境要求,提高设备间数据共享的效率和准确性,进而优化工业互联网企业的运营和控制,加速其应用创新和业务变革。

利用该解决方案,IoTDB 帮助宝武集团构建了钢铁冶炼生产场景中设备、车间、工厂、集团的多层级多粒度数据汇聚 ,打通了端-边-云原始数据协同路径,并在过去半年的应用中多次及时探测到关键设备故障前兆。同时,IoTDB 帮助某航空集团打造了新型试飞数据管理范式,将原本数据从收集到可用需要 4 小时缩短至 0.5 小时,将其数据存储周期从半年扩大至 10 年

目前,IoTDB 原厂团队已成立商业化公司天谋科技,将继续探索 IoTDB 产品、方案在各行业的应用落地,共同为工业互联网发展贡献力量。

作为全球性开源项目,截至目前,Apache IoTDB 已拥有 258 名贡献者、4K Stars、933 Forks、9594 Commits 。我们为大家提供了参与指南,欢迎越来越多的小伙伴助力 Apache IoTDB 项目的不断发展与前进,迈出加入 Apache IoTDB 社区的第一步!

相关推荐
刘大浪17 分钟前
后端数据增删改查基于Springboot+mybatis mysql 时间根据当时时间自动填充,数据库连接查询不一致,mysql数据库连接不好用
数据库·spring boot·mybatis
无敌岩雀24 分钟前
MySQL中的索引
数据库·mysql
a_安徒生1 小时前
linux安装TDengine
linux·数据库·tdengine
程序员学习随笔1 小时前
PostgreSQL技术内幕19:逻辑备份工具pg_dump、pg_dumpall
数据库·postgresql
尘浮生1 小时前
Java项目实战II基于微信小程序的校运会管理系统(开发文档+数据库+源码)
java·开发语言·数据库·微信小程序·小程序·maven·intellij-idea
偶尔。5351 小时前
什么是事务?事务有哪些特性?
数据库·oracle
安迁岚1 小时前
【SQL Server】华中农业大学空间数据库实验报告 实验六 视图
数据库·sql·mysql·oracle·实验报告
xoxo-Rachel2 小时前
(超级详细!!!)解决“com.mysql.jdbc.Driver is deprecated”警告:详解与优化
java·数据库·mysql
JH30732 小时前
Oracle与MySQL中CONCAT()函数的使用差异
数据库·mysql·oracle
蓝染-惣右介2 小时前
【MyBatisPlus·最新教程】包含多个改造案例,常用注解、条件构造器、代码生成、静态工具、类型处理器、分页插件、自动填充字段
java·数据库·tomcat·mybatis