大数据平台ETL任务导入分库分表数据

数据源管理

数据源类型:MySql

数据源:db_victor

表:tb_inc_day_#0-63#

数据过滤:fdt_startdate>= FROM_UNIXTIME(UNIX_TIMESTAMP() - 60 * 60,'%Y-%m-%d %H:00:00') AND fdt_startdate<FROM_UNIXTIME(UNIX_TIMESTAMP() ,'%Y-%m-%d %H:00:00')

编辑数据源

数据源名称:db_victor

数据源用途: 调度ETL任务/实时计算/数据资产

系统编码:XXXX-XXX-XX

应用名称:XXXX

数据源类型:MySql ☑️mysql分库

应用内公开:是

数据源描述:XXXX

(按照制定格式导入分库配置)

目标源管理

目标源类型:Hive

目标源:大数据平台

库:dm_x

表:dm_dtl_di

分区 :inc_day$time(yyyyMMdd,-1d)

清理规则:写入前保留已有数据(append)

字段映射

(略)

通道控制

(略)

调度配置

(略)

Hooks配置

(略)

告警配置

(略)

相关推荐
数字新视界4 分钟前
空调双机切换器AIRC1000红外控制原理解析
大数据·物联网·信息可视化·信息与通信·一体化机柜
会议咨询8 分钟前
2026年智能检测、信号处理与大数据国际会议(ISPBD 2026)
大数据·信号处理·智能检测
明志数科27 分钟前
机器人数据采集行业供给侧出清:重资产模式的结构性约束与质量工程转向
大数据·人工智能
龙亘川1 小时前
电子签章服务与核验业务建模:从在线签署、可信核验到归档追溯的全流程闭环
大数据·人工智能·智慧城市·开源软件
云表无代码开发7 小时前
雷军救WPS“三次”!WPS注入新生力量,不再抄袭微软
大数据·microsoft
燧机科技SuiJi9 小时前
山体坍塌落石滑坡泥石流监测系统 落石泥石流监控摄像机
大数据·人工智能·深度学习·yolo
AOI小白新手上路11 小时前
autodl常用的tar 打包下载(数据集)命令手册:逐段拆解与套用模板
java·大数据·数据库
TMT星球11 小时前
工博会2026丨它石智航联合创始人陈同庆:从模型到产线,让机器人在真实场景创造真实价值
大数据·人工智能
2401_8652616314 小时前
亦唐科技:大数据如何驱动精准商业决策
大数据·科技
xiaomuzuirenzhen14 小时前
2027秋招项目复盘:数据科学与大数据技术专业如何从代码实现讲到业务价值
大数据