技术栈
数据乱序
GawynKing
8 个月前
大数据
·
flink
·
乱序
·
数据乱序
Flink实战之FlinkSQL键设计对于数据保序的必要性
乱序数据处理对于实时ETL至关重要,处理不好将会导致数据不一致场景发生。对于数据乱序场景,一般工程师已知上游数据乱序会对本身消费数据产生影响,但不一定晓得的是,一个SQL本身也可能造成数据乱序,严格意义上的数据乱序是无法避免的。本文讨论的是在SQL开发过程中,由于考虑不当导致数据乱序的场景。
GawynKing
8 个月前
数据库
·
sql
·
flink
·
乱序
·
数据乱序
FlinkSQL之保序任务对于Join SQL影响分析
本文以一个示例说明FlinkSQL如何针对上游乱序数据源设计保序任务,从而保证下游数据准确性。废话不多说,这里以交易数据场景为例.