hive模型数据异常-作业调度问题

hive模型数据异常-作业调度问题

现象

数仓分层中，sdi的下游是dwi。

有个新人遇到了个以前作业调度配置问题，导致下游数据丢失。

原因

上游二刷了，下游只刷了一遍。你不丢谁丢？

dwi凌晨刷新。

sdi却在11点二刷了。

解决思路

找出所有sdi影响的下游job所在的作业，全部配置二刷。