新增流计算计数窗口,TDengine 3.2.3.0 八大板块功能更新

自发布以来,TDengine 3.0 版本在研发人员和社区用户的共同努力下不断优化,产品的稳定性和易用性获得了大幅提升,在知轮科技的智慧轮胎系统黑格智能 3D 打印业务韵达快递业务中国地震台网中心中移物联智慧出行场景等众多企业项目中获得了成功应用。近期,TDengine 3.2.3.0 成功发布,本文将向大家简单介绍一下该版本涉及到的重大更新。

据了解,3.2.3.0 版本涉及到的更新内容包括流计算、传输压缩、授权机制、监控、数据接入、Explorer、性能优化、运维优化八大模块。具体更新信息展示如下。

开源的时序数据库功能更新(所有版本同步更新)

1、计数窗口 (Count Window)

TDengine 流式计算新增对计数窗口的支持。计数窗口会按照固定的个数,对一段数据集进行截取。

复制代码
window_clause: {
SESSION(ts_col, tol_val)
| STATE_WINDOW(col)
| INTERVAL(interval_val [, interval_offset]) [SLIDING (sliding_val)] [FILL(fill_mod_and_val)]
| EVENT_WINDOW START WITH start_trigger_condition END WITH end_trigger_condition
| COUNT_WINDOW(count_val[, sliding_val])
}

典型场景示例:在公路的收费站,每通过一辆车就产生一条记录,可通过计数窗口实时显示车辆密集程度。

复制代码
CREATE STREAM stream_name
TRIGGER at_once IGNORE EXPIRED 1 IGNORE UPDATE 0 WATERMARK 100s
INTO stream_stb_name
AS
SELECT _wstart AS ts, count(*) c1, sum(b), max(c)
FROM st
PARTITION BY tbname, ta, a
COUNT_WINWOW(9);

相关技术文档请移步至 流式计算 | TDengine 文档 | 涛思数据 查看。

2、 传输压缩

RESTful / WebSocket 协议下的传输压缩:该扩展允许在 RESTful / WebSocket 连接上对消息进行压缩,以减少传输的数据量,提高性能。

3、监控

TDengine 监测:功能重构,包括 taosd 资源信息、业务统计信息、慢查询和一些健康信息。

4、性能优化

  • 多表低频场景查询优化
  • Last 遗留问题
  • last() / last_row()同时查询时的性能优化

5 、运维优化

  • 副本数目修改(alter replica):通过 learner 机制,把读写阻塞时间缩短为成员变更时间
  • 副本节点迁移(redistribute vgroup):通过 learner 机制,把读写阻塞时间缩短为成员变更时间
  • 节点删除(drop dnode):空 dnode,无论是否在线均可正常删除

TDengine Enterprise(企业级功能更新)

1、TDengine 授权机制

  • 采用单一授权码,覆盖所有现存组件,提供自定义授权项以便支持新增组件
  • 支持按功能授权
  • 支持通过 cluster ID 授权
  • 支持完整授权和叠加授权

2 、传输压缩

  • 从 taosX Agent 到 taosX 的数据传输压缩
  • 基于 taosX 进行 TDengine 同步复制时的数据传输压缩

3 、监控

taosX 监控:包括资源信息、业务统计信息、健康信息、任务状态。

4、数据接入

  • Wonderware Historian -> TDengine 3.0
  • taosX 可观测性
  • 数据源统一参数 Advanced Options
  • CSV 支持更多配置参数
  • OPC 点位过滤和下载机制优化
  • 2.6->3.0 数据复制与同步支持新建表自动同步
  • Transformer 用户体验优化

5、Explorer

  • 支持 HTTPS
  • 可以查询任务日志

6、性能优化

  • Pi -> TD 性能优化
  • OPC -> TD 性能优化
  • 多表低频数据迁移性能优化(2.6->3.0)

7 、运维优化

虚拟节点组分裂(split vgroup):通过 learner 机制,把读写阻塞时间缩短为子表元数据重整以及成员变更时间。

除此之外,每个版本都会做很多其他的工作,比如 bug 修复、功能优化等等。如果想要了解新版本(时序数据库功能更新)更加详细的发布信息,可以移步至 Release 3.2.3.0 · taosdata/TDengine · GitHub 查看发布说明。

欢迎大家下载使用,也欢迎在评论区提出建议和意见,如有任何问题请及时联系我们获得支持。


了解更多 TDengine Database 的具体细节,可在GitHub上查看相关源代码。

相关推荐
hwj运维之路16 分钟前
大数据系统架构实践(一):Zookeeper集群部署
大数据·zookeeper·系统架构
189228048611 小时前
NY339NY341美光固态闪存NW841NW843
大数据·数据库
DavidSoCool1 小时前
Elasticsearch 中实现推荐搜索(方案设想)
大数据·elasticsearch·搜索引擎
lilye661 小时前
精益数据分析(108/126):媒体网站用户参与时间优化与分享行为解析
大数据·数据分析·媒体
TDengine (老段)2 小时前
使用 Prometheus 访问 TDengine ---
大数据·数据库·prometheus·时序数据库·iot·tdengine·涛思数据
大千AI助手4 小时前
饼图:数据可视化的“切蛋糕”艺术
大数据·人工智能·信息可视化·数据挖掘·数据分析·pie·饼图
高小秋4 小时前
Hadoop 技术生态体系
大数据·hadoop·分布式
TDengine (老段)4 小时前
TDengine 与开源可视化编程工具 Node-RED 集成
大数据·物联网·开源·node.js·时序数据库·tdengine·涛思数据
isNotNullX5 小时前
据字典是什么?和数据库、数据仓库有什么关系?
大数据·数据库·数据仓库·oracle·数据治理