大数据平台ETL任务导入分库分表数据

数据源管理

数据源类型:MySql

数据源:db_victor

表:tb_inc_day_#0-63#

数据过滤:fdt_startdate>= FROM_UNIXTIME(UNIX_TIMESTAMP() - 60 * 60,'%Y-%m-%d %H:00:00') AND fdt_startdate<FROM_UNIXTIME(UNIX_TIMESTAMP() ,'%Y-%m-%d %H:00:00')

编辑数据源

数据源名称:db_victor

数据源用途: 调度ETL任务/实时计算/数据资产

系统编码:XXXX-XXX-XX

应用名称:XXXX

数据源类型:MySql ☑️mysql分库

应用内公开:是

数据源描述:XXXX

(按照制定格式导入分库配置)

目标源管理

目标源类型:Hive

目标源:大数据平台

库:dm_x

表:dm_dtl_di

分区 :inc_day$time(yyyyMMdd,-1d)

清理规则:写入前保留已有数据(append)

字段映射

(略)

通道控制

(略)

调度配置

(略)

Hooks配置

(略)

告警配置

(略)

相关推荐
晶捷软件5 分钟前
晶捷智能:集团型制造企业ERP如何实现多工厂统一管控
大数据·人工智能·python·制造
小岐AI观13 分钟前
智赋岐黄能否嵌入机构现有业务体系?
大数据·人工智能·四诊仪·智赋岐黄·中医ai
和裕17 分钟前
光伏储能定制加强型瓦楞纸箱:降低组件运输隐裂率与售后损耗的核心价值
大数据·运维·网络·人工智能·算法
4SAPI1 小时前
GPT-6 Astra 发布:AGI 时代是否到来,或许不是当前最重要的问题
大数据·人工智能·gpt·agi
dalong101 小时前
WPF:MVVM 示例
大数据·wpf
小柯南敲键盘1 小时前
跨境电商翻译工具,AI批量图片及视频字幕翻译
大数据·人工智能·python·音视频
大大大大晴天️2 小时前
用 Helm、CRD 与 Operator 管大数据:声明式运维如何替代脚本化部署
大数据·云原生
数造科技2 小时前
政务数据治理实战:统一数据底座如何破解商事注册“重复填报”与数据孤岛
大数据·人工智能·科技·政务·ai-native
金立基包装胶水3 小时前
纸袋热封胶常见都有哪些问题?
大数据·笔记·其他
Elastic 中国社区官方博客3 小时前
在 Elasticsearch 中回填时间序列数据:通过批量 API 加载数月的历史指标数据
大数据·运维·数据库·人工智能·elasticsearch·搜索引擎·全文检索