大数据平台ETL任务导入分库分表数据

数据源管理

数据源类型:MySql

数据源:db_victor

表:tb_inc_day_#0-63#

数据过滤:fdt_startdate>= FROM_UNIXTIME(UNIX_TIMESTAMP() - 60 * 60,'%Y-%m-%d %H:00:00') AND fdt_startdate<FROM_UNIXTIME(UNIX_TIMESTAMP() ,'%Y-%m-%d %H:00:00')

编辑数据源

数据源名称:db_victor

数据源用途: 调度ETL任务/实时计算/数据资产

系统编码:XXXX-XXX-XX

应用名称:XXXX

数据源类型:MySql ☑️mysql分库

应用内公开:是

数据源描述:XXXX

(按照制定格式导入分库配置)

目标源管理

目标源类型:Hive

目标源:大数据平台

库:dm_x

表:dm_dtl_di

分区 :inc_day$[time(yyyyMMdd,-1d)]

清理规则:写入前保留已有数据(append)

字段映射

(略)

通道控制

(略)

调度配置

(略)

Hooks配置

(略)

告警配置

(略)

相关推荐
m0_466525297 小时前
酷特AGI:从“自家试验田”到“全球输出”
大数据·人工智能·agi
市象7 小时前
AI带给TCL空调的头部假想
大数据·人工智能
身如柳絮随风扬7 小时前
深度解析 Elasticsearch 搜索服务:核心原理、架构与优化实践
大数据·elasticsearch·架构
kft13147 小时前
AI 驱动测试 2.0:当测试智能体成为你的“超级 QA“
大数据·人工智能·elasticsearch
亿信华辰软件8 小时前
睿治Agent数据治理平台重磅发布:数据治理大脑+全栈Agent,以AI重构数据治理全流程
大数据·人工智能
成长之路5148 小时前
【数据集】地级市农业韧性数据-含代码(1990-2023年)
大数据
CyberwayTech10 小时前
赛博威线上营销费用管理:咨询+系统,双轮驱动ROI增长
大数据·人工智能
NOCSAH10 小时前
统好AI:助力企业智改数转的务实实践
大数据·人工智能·统好ai
Sinokap10 小时前
GPT-5.5 上线:OpenAI 把 AI 推向真实办公场景
大数据·人工智能
七颗糖很甜10 小时前
“十五五”气象发展规划:聚焦五大核心任务
大数据·python·算法