大数据平台ETL任务导入分库分表数据

数据源管理

数据源类型:MySql

数据源:db_victor

表:tb_inc_day_#0-63#

数据过滤:fdt_startdate>= FROM_UNIXTIME(UNIX_TIMESTAMP() - 60 * 60,'%Y-%m-%d %H:00:00') AND fdt_startdate<FROM_UNIXTIME(UNIX_TIMESTAMP() ,'%Y-%m-%d %H:00:00')

编辑数据源

数据源名称:db_victor

数据源用途: 调度ETL任务/实时计算/数据资产

系统编码:XXXX-XXX-XX

应用名称:XXXX

数据源类型:MySql ☑️mysql分库

应用内公开:是

数据源描述:XXXX

(按照制定格式导入分库配置)

目标源管理

目标源类型:Hive

目标源:大数据平台

库:dm_x

表:dm_dtl_di

分区 :inc_day$[time(yyyyMMdd,-1d)]

清理规则:写入前保留已有数据(append)

字段映射

(略)

通道控制

(略)

调度配置

(略)

Hooks配置

(略)

告警配置

(略)

相关推荐
一段佳话^cyx1 小时前
详解逻辑回归(Logistic Regression):原理、推导、实现与实战
大数据·算法·机器学习·逻辑回归
zhou lily1 小时前
SaaS模式下的企业服务创新与数字化转型:战略重构与价值落地
大数据
qq_452396231 小时前
【Python × AI】多智能体协作:从 AutoGPT 到 CrewAI 的组织进化论
大数据·人工智能·python·ai
跨境卫士-小汪3 小时前
高风险订单识别不足如何设置拦截与二次核验
大数据·人工智能·产品运营·跨境电商·营销策略
贾斯汀玛尔斯4 小时前
kinbana中无法在discover中显示在ES中创建的索引--解决方案
大数据·elasticsearch·搜索引擎
RFID科技的魅力5 小时前
零门槛上手!CP300R触屏RFID打印机操作体验与打印效果实测
大数据·物联网·rfid
数字供应链安全产品选型6 小时前
#AI原生安全,Gartner 点名之后:AIST 技术正在进入深水区
大数据·人工智能
NOCSAH6 小时前
统好AI数智平台SRM:重塑采购管理新范式
大数据·人工智能·数智化一体平台·统好ai
帐篷Li7 小时前
【AgenticCPS 】CPS联盟返利系统 - 实施计划
大数据·网络·人工智能
CDA数据分析师干货分享7 小时前
汉江师范学院数据科学与大数据技术专业大二学生:CDA一级学习经验
大数据·经验分享·学习·数据分析·cda证书·cda数据分析师