大数据平台ETL任务导入分库分表数据

数据源管理

数据源类型:MySql

数据源:db_victor

表:tb_inc_day_#0-63#

数据过滤:fdt_startdate>= FROM_UNIXTIME(UNIX_TIMESTAMP() - 60 * 60,'%Y-%m-%d %H:00:00') AND fdt_startdate<FROM_UNIXTIME(UNIX_TIMESTAMP() ,'%Y-%m-%d %H:00:00')

编辑数据源

数据源名称:db_victor

数据源用途: 调度ETL任务/实时计算/数据资产

系统编码:XXXX-XXX-XX

应用名称:XXXX

数据源类型:MySql ☑️mysql分库

应用内公开:是

数据源描述:XXXX

(按照制定格式导入分库配置)

目标源管理

目标源类型:Hive

目标源:大数据平台

库:dm_x

表:dm_dtl_di

分区 :inc_day$[time(yyyyMMdd,-1d)]

清理规则:写入前保留已有数据(append)

字段映射

(略)

通道控制

(略)

调度配置

(略)

Hooks配置

(略)

告警配置

(略)

相关推荐
程序员皮皮林38 分钟前
Redis:大数据中如何抗住2000W的QPS
大数据·数据库·redis
武子康2 小时前
大数据-169 Elasticsearch 入门到可用:索引/文档 CRUD 与搜索最小示例
大数据·后端·elasticsearch
v***91302 小时前
PostgreSQL 中进行数据导入和导出
大数据·数据库·postgresql
李兆龙的博客3 小时前
从一到无穷大 #61 Hive史诗
数据仓库·hive·hadoop
千里念行客2404 小时前
国产射频芯片“小巨人”昂瑞微今日招股 拟于12月5日进行申购
大数据·前端·人工智能·科技
一水鉴天4 小时前
整体设计 定稿 之15 chat分类的专题讨论(codebuddy)
大数据·分类·数据挖掘
7***u21614 小时前
显卡(Graphics Processing Unit,GPU)架构详细解读
大数据·网络·架构
Qzkj66618 小时前
从规则到智能:企业数据分类分级的先进实践与自动化转型
大数据·人工智能·自动化
q***474319 小时前
PostgreSQL 中进行数据导入和导出
大数据·数据库·postgresql
寰宇视讯20 小时前
奇兵到家九周年再进阶,获36氪“WISE2025商业之王 年度最具商业潜力企业”
大数据