目录
[1. 模板库（Template Library）](#1. 模板库（Template Library）)
[2. 支持以往配置的库表抽取实例](#2. 支持以往配置的库表抽取实例)
[四、给你一个可直接落地的示例（DataX 风格）](#四、给你一个可直接落地的示例（DataX 风格）)
[模板库里的历史配置（json 模板）](#模板库里的历史配置（json 模板）)
我直接用最落地、企业最常用的方案 给你讲清楚：什么是模板库 + 怎么保存 / 复用以往的库表抽取配置，你马上就能用在数据同步、ETL、数据迁移场景里。
一、先给你通俗定义
1. 模板库（Template Library）
专门用来存放「可复用的抽取规则 / 配置」的库。 它不存业务数据，只存：
- 从哪个库抽（数据源）
- 抽哪些表（表清单）
- 抽哪些字段（字段映射）
- 过滤条件（where 条件）
- 增量 / 全量策略
- 转换规则（脱敏、拼接、格式化）
一句话：模板库 = 你的历史抽取配置仓库。
2. 支持以往配置的库表抽取实例
就是： 基于模板库里保存好的旧配置，一键创建新的抽取任务，不用重复配库、配表、配字段。
比如：
- 上次配了 MySQL → Hive 的 100 张表抽取
- 这次要再抽一次 / 换个周期抽
- 直接选历史实例 → 复用配置 → 启动
二、核心结构（一看就懂）
模板库存储的内容（标准结构）
模板库
├─ 数据源模板（源库、目标库）
│ ├─ MySQL
│ ├─ Oracle
│ └─ PostgreSQL
├─ 表抽取模板（抽哪些表）
│ ├─ user
│ ├─ order
│ └─ product
└─ 抽取规则模板
├─ 全量抽取
├─ 增量抽取（按时间/ID）
└─ 字段映射/清洗规则抽取实例（运行时）
抽取实例 = 选择一个模板 + 填入参数（时间、批次）+ 执行三、最典型的工作流程（企业标准流程）
- 第一次配置抽取任务 配源库、目标库、表、字段、过滤、增量策略
- 保存为模板 → 存入模板库
- 下次使用 打开模板库 → 选择历史配置 → 一键生成新实例
- 支持修改 可改时间、改库、改表，不改也能直接用
四、给你一个可直接落地的示例（DataX 风格）
模板库里的历史配置（json 模板）
{
"templateId": "TPL_MYSQL_TO_HIVE_001",
"templateName": "MySQL业务库抽取到HIVE",
"source": {
"dbType": "mysql",
"url": "jdbc:mysql://xxx:3306/biz_db",
"username": "root"
},
"tables": [
"user_info",
"order_info",
"product_info"
],
"extractType": "increment",
"incrementColumn": "create_time",
"target": {
"dbType": "hive",
"database": "ods_db"
}
}基于模板创建的新抽取实例
{
"instanceId": "INST_20250515_001",
"templateId": "TPL_MYSQL_TO_HIVE_001", // 引用模板
"executeTime": "2025-05-15 00:00:00",
"incrementStart": "2025-05-14 00:00:00",
"incrementEnd": "2025-05-15 00:00:00"
}五、这种设计的好处（你一定会用到）
- 不用重复配置（库、表、字段、规则都复用）
- 统一规范（所有人用同一套标准抽取逻辑）
- 支持批量操作（一次配 100 张表，下次一键复用）
- 便于回溯（哪次用了哪个模板，都能查）
- 降低出错率（不用每次手写 SQL / 连接信息）
六、你在哪些工具里能看到这个设计？
- DataX / DTS
- Kettle
- Flink CDC
- 阿里云 DTS
- 腾讯云 DTS
- 企业内部数据平台、数据中台
全部都使用：模板库 + 抽取实例 这套架构。
最简总结
- 模板库 = 存放所有历史抽取配置的仓库
- 抽取实例 = 基于历史模板，快速创建的一次抽取任务
- 核心价值：复用、快速、不重复劳动