大数据平台ETL任务导入分库分表数据

数据源管理

数据源类型:MySql

数据源:db_victor

表:tb_inc_day_#0-63#

数据过滤:fdt_startdate>= FROM_UNIXTIME(UNIX_TIMESTAMP() - 60 * 60,'%Y-%m-%d %H:00:00') AND fdt_startdate<FROM_UNIXTIME(UNIX_TIMESTAMP() ,'%Y-%m-%d %H:00:00')

编辑数据源

数据源名称:db_victor

数据源用途: 调度ETL任务/实时计算/数据资产

系统编码:XXXX-XXX-XX

应用名称:XXXX

数据源类型:MySql ☑️mysql分库

应用内公开:是

数据源描述:XXXX

(按照制定格式导入分库配置)

目标源管理

目标源类型:Hive

目标源:大数据平台

库:dm_x

表:dm_dtl_di

分区 :inc_day$time(yyyyMMdd,-1d)

清理规则:写入前保留已有数据(append)

字段映射

(略)

通道控制

(略)

调度配置

(略)

Hooks配置

(略)

告警配置

(略)

相关推荐
利威尔·3 小时前
常用git命令
大数据·elasticsearch·搜索引擎
一份汉堡套餐4 小时前
7月最新大模型排名
大数据·人工智能
ganbingfenxiang4 小时前
山西干冰零售
大数据·人工智能·python·零售
ZeekerLin4 小时前
AI时代,企业核心业务中台化建设思考
大数据·人工智能·企业ai转型
2601_949936965 小时前
2026会计岗位职场能力提升方法分享
大数据
咖啡屋和酒吧5 小时前
无锡干细胞领域发展纪实
大数据·人工智能
SelectDB5 小时前
阶跃星辰 Agent 可观测实践:为什么 Trace 数据底座选择 SelectDB?
大数据·数据库·agent
志起计算机编程5 小时前
Ubuntu24 单节点ClickHouse二进制包部署
大数据
TDengine (老段)6 小时前
# TDengine TMQ 最佳实践 — 可靠消费、容错与监控
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
龙萱坤诺6 小时前
Claude Fable 5 重新开放:最强模型回归
大数据·运维·人工智能