版本迭代丨谷云科技ETLCloud V4.2版本更新速览

为进一步提升平台数据集成、数据同步及批量补数的灵活性与适配能力,优化各类数据场景下的操作体验,解决多样化数据处理业务需求。本次ETLCloudV4.2版本聚焦存量组件性能与实用性升级,以功能优化为核心,同步新增实用业务组件,全面提升数据集成调度灵活性与适配性。

一、全新新增组件

本次版本新增DataHub监听组件。该组件可高效对接DataHub数据生态,支持对数据源进行实时监听与数据同步接入,完善平台实时数据采集能力,丰富平台数据源对接场景,满足企业实时数据流转、动态数据监控等业务需求,进一步拓展平台的数据集成边界。

二、重点功能优化

针对用户高频使用的数据库输出、文件传输、文件写入、数据补数等核心组件进行深度优化,解决传统操作模式的局限性,适配复杂、个性化的业务场景,具体优化内容如下:

1.数据库输出组件升级

优化Doris、Gauss两大主流数据库输出组件,升级表数据清空能力。原有清空表数据为固定逻辑,现支持用户自定义SQL语句完成表数据清空操作。可适配不同的复杂业务场景,提升数据库数据同步、重写场景的灵活性。

2.FTP文件上传组件增强,支持传输模式自定义配置

对FTP文件上传组件进行能力迭代,新增传输模式自定义设置功能。用户可根据自身网络环境、服务器配置及文件传输需求,灵活选择适配的传输模式,有效解决不同网络场景下文件传输不稳定、连接失败、传输中断等问题,显著提升FTP文件传输的成功率与稳定性。

3.文件输出组件能力完善,支持多样化写入模式

优化输出到文件组件的写入逻辑,新增数据覆盖、追加写入等多种输出模式。覆盖原有单一写入方式,用户可根据业务场景自由切换写入规则,既支持全新数据覆盖生成文件,也支持增量数据追加写入文件,适配全量数据输出、增量数据累积、日志数据汇总等各类文件处理场景。

4.补数组件全面迭代,支持周期性精细化补数

深度优化数据补数核心组件,打破原有固定补数规则限制。新增按周、按月、按年三大周期性补数模式,全面覆盖日、周、月、年全周期数据回溯场景;同时支持自定义补数步长配置,用户可根据数据量级、业务节奏灵活调整补数粒度,大幅简化周期性批量补数操作流程,降低大规模数据回溯、数据修复的操作成本,提升批量数据补全的效率与精准度。

相关推荐
敲上瘾37 分钟前
Qt Widgets入门:项目模板解析与Hello World
开发语言·数据库·c++·qt·ui·qt6.3
bksczm2 小时前
Redis 持久化:RDB 快照与 AOF 日志
数据库·redis·mybatis
.痞老板.2 小时前
mysql初阶--数据库设计
数据库·mysql·oracle
Decay__3 小时前
SQL Server 数据库全栈运维实战系列 — 合集索引(24 篇)
运维·数据库·sql·mysql·架构
Thanks_ks4 小时前
SQL 的 GROUP BY 与聚合函数:从会写 SELECT 到会做统计
数据库·sql·mysql·group by·数据统计·聚合函数·having
Decay__12 小时前
12_MySQL InnoDB 内存与锁调优 —— Buffer Pool、redo log、隔离级别与锁等待
运维·数据库·sql·mysql·架构
笃行35012 小时前
AI数据库的库内四层结构,KingbaseES 产品拆解
数据库
我是大猴子14 小时前
redis
数据库·redis·缓存
苏宸啊16 小时前
MySQL(一)
数据库·mysql
2603_9696948517 小时前
JDBC 基础学习笔记:API 核心原理解析与 CRUD 代码实操
数据库·笔记·mysql·学习方法·database·sql注入