在做数据同步的时候，ETLCLoud一般通过库表输入与库表输出完成抽取数据和同步数据。
而抽取数据到平台并推送数据到目标端这个过程时，数据都是存在平台所在服务器的内存中的，对于一些大表，内存不足以存储整张表的数据，这时就会使用平台自带的分页传输。
而分页传输，数据被分成多批传输到目标端，如果其中有一批数据输出出错，那么流程会直接终止，事务被回滚，而面对这种情况，我们可以在库表输出中配置
输出异常时跳过异常，并配置节点断言。
这样运行流程，即使有数据出错也不会停止流程，能够成功传输的数据还是正常输出。
这时流程的运行记录会标记为警告（流程正常结束但是存在同步失败的数据）。
检查目标表的确实没有传输失败的数据。
根据日志处理了目标表的字段结构后，如何只同步失败的数据而不必同步全部数据呢？
一、出错数据如何同步
首先先确保库表输出配置了记录失败的数据。
这样，流程同步失败的数据会存入到作为ETL平台系统数据库的MongoDB的库中。
配置一个这样的流程
Mongo输入组件配置：
查询条件添加过滤条件：
{
$and:[
{"P_TAG_STATUS":1},
{"P_TAG_PROCESSSID":"任务ID"}
]
}
应用ID位置：
任务ID为运行记录的任务ID：
库表输出则配置目标库
运行流程进行失败数据传输：
成功将失败数据进行同步。
二、如何去判断源表和目标表的数据是否一致
同步完数据后如何去判断源表和目标表的数据是否一致呢？
我们创建并设计一个流程
库表输入配置：
源表与目标表都是读取全量数据
双流数据值对比组件：
日志输出的输出内容选包含变量的，因为对比结果存在变量里面
运行流程进行数据对比
打印结果compareResult为true证明两张表的内容一致。
三、当源表与目标表数据不一致要如何处理
当源表的数据与目标表数据不一致，可能是源端插入、更新、删除的数据都没有同步到目标端，这就可能导致目标表可能少了源表存在的数据、部分数据与源表不一致、多了源表不存在的数据。这种情况下，我们要对两张表进行数据对比，对比出差异数据，根据不同情况同步到目标表：
源表存在目标表不存在的数据：插入到目标表。
源表与目标表都存在但是部分数据不一致的数据：更新到目标表。
源表不存在目标表存在的数据：从目标表删除。
我们可以配置这样的流程进行处理：
双流增量运算配置
两个库表输入就分别全量读取源表与目标表数据。库表输出则选择目标表，将双流增量的数据同步到目标表
本文详细介绍了在使用ETLCloud进行数据同步时，如何确保数据传输的一致性，主要分为三个部分：
容错与重试：通过配置"跳过异常"和节点断言，避免因部分数据错误导致整个同步任务失败，并将失败数据记录至MongoDB，便于后续精准重同步。
一致性校验：通过"双流数据值对比"组件，全量比对源表和目标表的数据，快速验证数据是否一致。
差异修复：当发现数据不一致时，利用"双流增量运算"组件自动识别差异类型（需新增、更新或删除），并生成相应的操作将目标表数据修复至与源表一致。
这套方法体系有效地解决了数据同步过程中可能出现的"少数据"和"脏数据"问题，保障了端到端的数据一致性。