【Flink学习】(六)Flink 三大时间语义 + 水位线 Watermark

本文我主要整理Flink 时间相关知识,实时计算最大难点:数据乱序,为窗口计算打下基础。

一、三大时间语义详解

1、处理时间

服务器处理数据的系统时间,最简单,无数据顺序要求

2、事件时间

数据本身自带的产生时间,实时业务生产首选

3、摄入时间

数据进入 Flink 程序的时间,极少使用

二、实时业务痛点:数据乱序

网络延迟、设备离线重连导致数据先后顺序错乱,直接影响统计结果准确性。

三、水位线 Watermark 核心作用

水位线是 Flink 内部时间时钟,用于告知 Flink 迟到数据最晚到达时间,解决乱序数据计算异常问题。

四、水位线实战编写代码

1、固定延迟水位线(企业最常用)

2、单调递增水位线

3、自定义水位线生成规则

五、迟到数据处理方案

设置允许迟到时间、侧输出流收集极端迟到数据,保证实时计算结果精准无误。

相关推荐
外收内放8 小时前
面向对象高级(实战案例)
开发语言·python·学习
薛定e的猫咪9 小时前
(ICLR 2020)MAML 靠的不是快速学习,而是特征复用
人工智能·深度学习·学习·算法·机器学习
Data-Miner9 小时前
需要做财务数据分析,有什么好用的工具?从准备到出报告的实操指南
大数据·数据库·数据分析
薛定e的猫咪9 小时前
(ICLR 2026)DF-META:面向 FJSP 的无导数元学习实例自适应调度
人工智能·深度学习·学习·算法·机器学习
阿里云大数据AI技术11 小时前
StarRocks × Paimon C++:加速湖上数据分析
大数据·人工智能
用户36105886261211 小时前
Flink 配置深度剖析:从配置加载到参数调优的完整指南
大数据·flink
ha_lydms11 小时前
Window Functions(窗口函数)
大数据·数据仓库·hadoop·spark·数据处理·dataworks·maxcompute
2601_9520477911 小时前
委外入库单同步:旺店通到金蝶云星空的实战配置
大数据·钉钉·制造
阿里云大数据AI技术11 小时前
【云栖实录】一切数据,皆可计算:MaxCompute 升级为AI Native全模态计算服务
大数据·人工智能·agent
珠海西格电力12 小时前
物联网(IoT)在零碳园区中的关键作用:万物互联与数据采集
大数据·人工智能·物联网·安全·系统架构·能源