DataX从入门到精通 第4课 ETL之DataX datax-web单表数据全量+增量同步

1、任务构建

1)构建reader

这里的where条件中添加了id> {startId} and id\<= {endId},其中startId和endId 是两个参数

2)构建writer

writeMode

模式 说明 行为
insert 默认模式,执行普通的 INSERT INTO 语句。 遇到主键或唯一键冲突,任务报错并记录脏数据。
replace 执行 REPLACE INTO 语句。 遇到冲突时,先删除旧行,再插入新行。需要表的 INSERTDELETE 权限。
update 执行 INSERT INTO ... ON DUPLICATE KEY UPDATE 语句。 遇到冲突时,更新旧行的非主键字段。

3)字段映射

字段映射这里原本是不支持手动调整映射关系的,我这里进行了ui调整。

4)构建

构建的任务名称默认是源端的数据表名称,我这里添加了任务名称,可以进行自定义任务名称。

2、任务管理

1)任务列表

任务构建成功后,可以在任务管理列表看到添加的任务。

2)编辑任务

编辑任务

辅助参数我们这里选择主键自增,通过id字段进行增量抽取数据。

增量逐渐开始ID,这里设置为0。

ID增量参数,-DstartId='%s' -DendId='%s',这里的%s是占位符。

3)执行任务

第一次执行

执行之后会更新增量主键开始ID

第二次执行

test2的student表通过全量+增量方式成功同步数据。

下一节课将讲解多表join 按照时间增量方式同步数据。