版本迭代丨谷云科技ETLCloud V4.2版本更新速览

为进一步提升平台数据集成、数据同步及批量补数的灵活性与适配能力,优化各类数据场景下的操作体验,解决多样化数据处理业务需求。本次ETLCloudV4.2版本聚焦存量组件性能与实用性升级,以功能优化为核心,同步新增实用业务组件,全面提升数据集成调度灵活性与适配性。

一、全新新增组件

本次版本新增DataHub监听组件。该组件可高效对接DataHub数据生态,支持对数据源进行实时监听与数据同步接入,完善平台实时数据采集能力,丰富平台数据源对接场景,满足企业实时数据流转、动态数据监控等业务需求,进一步拓展平台的数据集成边界。

二、重点功能优化

针对用户高频使用的数据库输出、文件传输、文件写入、数据补数等核心组件进行深度优化,解决传统操作模式的局限性,适配复杂、个性化的业务场景,具体优化内容如下:

1.数据库输出组件升级

优化Doris、Gauss两大主流数据库输出组件,升级表数据清空能力。原有清空表数据为固定逻辑,现支持用户自定义SQL语句完成表数据清空操作。可适配不同的复杂业务场景,提升数据库数据同步、重写场景的灵活性。

2.FTP文件上传组件增强,支持传输模式自定义配置

FTP文件上传组件进行能力迭代,新增传输模式自定义设置功能。用户可根据自身网络环境、服务器配置及文件传输需求,灵活选择适配的传输模式,有效解决不同网络场景下文件传输不稳定、连接失败、传输中断等问题,显著提升FTP文件传输的成功率与稳定性。

3.文件输出组件能力完善,支持多样化写入模式

优化输出到文件组件的写入逻辑,新增数据覆盖、追加写入等多种输出模式。覆盖原有单一写入方式,用户可根据业务场景自由切换写入规则,既支持全新数据覆盖生成文件,也支持增量数据追加写入文件,适配全量数据输出、增量数据累积、日志数据汇总等各类文件处理场景。

4.补数组件全面迭代,支持周期性精细化补数

深度优化数据补数核心组件,打破原有固定补数规则限制。新增按周、按月、按年三大周期性补数模式,全面覆盖日、周、月、年全周期数据回溯场景;同时支持自定义补数步长配置,用户可根据数据量级、业务节奏灵活调整补数粒度,大幅简化周期性批量补数操作流程,降低大规模数据回溯、数据修复的操作成本,提升批量数据补全的效率与精准度。

相关推荐
IT小盘8 分钟前
09-使用Redis保存大模型多轮对话上下文
数据库·redis·缓存
秋田君10 分钟前
QT_QT布局常用类QSplitter窗口分割类与QDockWidget窗口停靠类
开发语言·数据库·qt
小果因子实验室20 分钟前
策略研究--qmt实现新股自动申购卖出策略
数据库
Darling噜啦啦27 分钟前
从零实战Milvus向量数据库:用RAG打造你的AI日记助手
数据库
淼澄研学1 小时前
PyTorch深度学习实战:5个核心方法从0到1构建神经网络
前端·数据库·python
脑子进水养啥鱼?1 小时前
where id > ‘5‘ 的查询 sql 查不到 id = ‘10‘ 的数据?
数据库·sql·postgresql
吴声子夜歌1 小时前
MongoDB 4.2——分片简介
数据库·mongodb
腾渊信息科技公司1 小时前
工业时序数据存储选型实战:从PostgreSQL到TDengine,查询从15秒到200ms
数据库·postgresql·tdengine
TDengine (老段)1 小时前
TDengine Node.js 与 C# 连接器 — Web 服务与 .NET 集成
大数据·数据库·node.js·c#·.net·时序数据库·tdengine
l1t2 小时前
PostgreSQL 11–18 中的 SQL 改进:个人精选-1
数据库·sql·postgresql