时序数据库 IoTDB 发布端边云原生解决方案,有效优化工业互联网数据上传时效与资源消耗...

2023 年 9 月 8 日,由中国通信学会、福建省工业和信息化厅主办的 2023 中国国际工业互联网创新发展大会在厦门举办。大会主论坛中,时序数据库 IoTDB 发表其自研建立的端边云原生解决方案,该方案可实现端侧设备、边缘服务器、数据中心数据的协同汇聚,达到数据实时上传、带宽成本控制、与多终端同步管理

01

关于大会

为贯彻落实国家两个强国发展战略,推动工业化和信息化融合发展,2023 中国国际工业互联网创新发展大会于 9 月 8 日 - 11 日与第二十三届投治会同期举办,旨在通过政策研读、行业前瞻、成果展示、创新案例发布、投资洽谈等形式,展示我国工业互联网创新技术和应用的现状以及发展成就,同时聚焦工业互联网核心技术领域及前沿应用,发布行业创新成果,助力科技成果产业化,推动我国工业互联网领域高质量发展。大会邀请超 6000 家技术企业与超 1000 家投资机构;致力加强大会在工业互联网行业的辐射范围与影响力,希望共同探讨如何以工业互联网行业前沿的技术、理念服务企业。

02

IoTDB 解决方案概要

IoTDB 是一款在国家自然科学基金、科技部、工信部、中国科协与中国通信学会的大力支持下,由清华大学发起,国产自主研发的工业互联网时序数据库产品。该项目也是我国科研机构目前唯一入选国际 Apache 开源软件基金会的项目,开源社区成员覆盖中、德、美等工业大国。IoTDB 覆盖了时序数据写入、存储、查询、计算全生命周期,具有多协议兼容、高压缩比、高通量读写等多项性能优势。目前在电力能源、飞机制造、车联网、钢铁冶炼、智慧工厂等行业均得到应用,已服务中央骨干、工业龙头企业超过 1000 家。

工业互联网场景下,以设备、传感器等终端上报的时序数据,成为多行业的价值主体。而工业互联网时代是端边云协同的时代:端是终端装备,用于采集数据;边是边缘控制器,用于汇集数据;云是云端服务器,用于处理数据。这种"端侧采集、边侧汇聚、云上处理"的数据上行链路,和"云上训练、边上推理、端侧执行"的数据下行链路,构成了工业互联网端边云场景的闭环

传统方案下,端侧数据即采即报即丢,但无法将全量数据如数上传,丢失掉了重要的装备运行细节数据;边缘侧存储能力弱,本地难以保留长周期历史数据,阻断了在边缘本地做实时智能化应用的潜在可能;云侧将所有边缘侧数据全部重新处理,其计算资源需求量是边缘侧设备的总和,其资源需求随着边缘侧设备的不断增加最终会难以为继。

为有效解决这一难题,IoTDB 发布的端边云原生解决方案,新增了多个端-边-云版本系统模块,重制了两种端-边-云数据协同模式,实现了多形态部署与端边云协同

在端侧,IoTDB 全新研制了基于 C++ 的数据库文件形态产品,在数十 M 甚至数 M 内存下,能够以 10 倍以上压缩率、百万点每秒吞吐率实现单设备全量数据管理 。在边侧,IoTDB 升级了单机数据库形态产品,在 10M 到 GB 内存下,实现多设备全量长周期数据管理 。在云侧,IoTDB 重制了分布式数据库形态产品,能够支持亿级测点,每秒数亿点读写吞吐,并创新了副本机制,较其他系统直接节省 30% 的存储和服务器 。此外,IoTDB 天生的语言特性使其能够与当前大数据生态无缝衔接。通过上述三类产品形态,实现了端-边-云多场景的全面覆盖,解决了端侧、边侧设备存储能力弱、丢失细节数据的痛点

同时,IoTDB 提出基于逐点的实时同步机制和基于 TsFile 列式数据存储文件的批量同步模式,同时覆盖了低延迟同步和高吞吐同步两类场景 。以基于 TsFile 数据库文件的同步模式为例,在端侧,通过采用文件形态产品,端侧装备直接生成时序数据高压缩文件,并通过同步模块将数据增量同步至边侧 IoTDB 实例。多个 IoTDB 边缘侧实例再将汇聚的时序数据文件集合增量式上传至云侧 IoTDB,从而使得云侧集群在不消耗额外 CPU、内存的情况下,利用端侧、边侧 CPU 资源整理好的数据,直接落到云侧服务器硬盘中进行管理。从而解决当前云侧重复处理数据、资源需求无上限的痛点

因数据文件的统一性与实时、批量同步的灵活切换性,该方案兼顾数据上传的时效性、网络带宽的节省、以及接收端的资源消耗,可有效适应边侧、云侧的不同资源、环境要求,提高设备间数据共享的效率和准确性,进而优化工业互联网企业的运营和控制,加速其应用创新和业务变革。

利用该解决方案,IoTDB 帮助宝武集团构建了钢铁冶炼生产场景中设备、车间、工厂、集团的多层级多粒度数据汇聚 ,打通了端-边-云原始数据协同路径,并在过去半年的应用中多次及时探测到关键设备故障前兆。同时,IoTDB 帮助某航空集团打造了新型试飞数据管理范式,将原本数据从收集到可用需要 4 小时缩短至 0.5 小时,将其数据存储周期从半年扩大至 10 年

目前,IoTDB 原厂团队已成立商业化公司天谋科技,将继续探索 IoTDB 产品、方案在各行业的应用落地,共同为工业互联网发展贡献力量。

作为全球性开源项目,截至目前,Apache IoTDB 已拥有 258 名贡献者、4K Stars、933 Forks、9594 Commits 。我们为大家提供了参与指南,欢迎越来越多的小伙伴助力 Apache IoTDB 项目的不断发展与前进,迈出加入 Apache IoTDB 社区的第一步!

相关推荐
昌sit!1 分钟前
K8S node节点没有相应的pod镜像运行故障处理办法
云原生·容器·kubernetes
Channing Lewis39 分钟前
salesforce case可以新建一个roll up 字段,统计出这个case下的email数量吗
数据库·salesforce
毕业设计制作和分享2 小时前
ssm《数据库系统原理》课程平台的设计与实现+vue
前端·数据库·vue.js·oracle·mybatis
ketil272 小时前
Redis - String 字符串
数据库·redis·缓存
Hsu_kk3 小时前
MySQL 批量删除海量数据的几种方法
数据库·mysql
编程学无止境3 小时前
第02章 MySQL环境搭建
数据库·mysql
knight-n3 小时前
MYSQL库的操作
数据库·mysql
茶馆大橘3 小时前
微服务系列五:避免雪崩问题的限流、隔离、熔断措施
java·jmeter·spring cloud·微服务·云原生·架构·sentinel
北漂IT民工_程序员_ZG4 小时前
k8s集群安装(minikube)
云原生·容器·kubernetes
coding侠客4 小时前
揭秘!微服务架构下,Apollo 配置中心凭啥扮演关键角色?
微服务·云原生·架构