【Flink学习】(六)Flink 三大时间语义 + 水位线 Watermark

本文我主要整理Flink 时间相关知识,实时计算最大难点:数据乱序,为窗口计算打下基础。

一、三大时间语义详解

1、处理时间

服务器处理数据的系统时间,最简单,无数据顺序要求

2、事件时间

数据本身自带的产生时间,实时业务生产首选

3、摄入时间

数据进入 Flink 程序的时间,极少使用

二、实时业务痛点:数据乱序

网络延迟、设备离线重连导致数据先后顺序错乱,直接影响统计结果准确性。

三、水位线 Watermark 核心作用

水位线是 Flink 内部时间时钟,用于告知 Flink 迟到数据最晚到达时间,解决乱序数据计算异常问题。

四、水位线实战编写代码

1、固定延迟水位线(企业最常用)

2、单调递增水位线

3、自定义水位线生成规则

五、迟到数据处理方案

设置允许迟到时间、侧输出流收集极端迟到数据,保证实时计算结果精准无误。

相关推荐
huihui36118 分钟前
北京比较好的商会私域管理软件推荐:选型标准与核验要点
大数据
Albart57519 分钟前
2026年Python入门路线图:从零到实战的30天逐日详解(三)
学习·flask·#python30 天入门·python 实战教程·pytest 单元测试·python 虚拟环境·logging 日志
数智顾问27 分钟前
(84页PPT)PWC海科集团生物医药业务5年发展战略项目建议书(附下载方式)
大数据·人工智能·物联网
Elastic 中国社区官方博客29 分钟前
使用重新设计的 AutoOps 更快地进行 Elasticsearch 问题排查
大数据·运维·前端·人工智能·elasticsearch·搜索引擎·全文检索
2401_8595062437 分钟前
玉石鉴定的技术原理与实操方法:从证书验真到品质判断
大数据
涛思数据(TDengine)40 分钟前
WAIC 现场直击|烽台科技与 TDengine 战略签约:工业数据+“AI“,答案是什么?
大数据·人工智能·ai·时序数据库·tdengine·国产数据库
RoboWizard42 分钟前
金士顿高速闪存盘 单双接口适配多元存储需求
大数据·运维·人工智能·智能手机·云计算
聚焦前沿1 小时前
水动力优化导流罩:原理、数据与实船验证
大数据·服务器·数据库·人工智能
A15362551 小时前
零售POS系统怎么选?门店规模、连锁模式和即时零售需求是关键
大数据·人工智能·零售
我的温馨家园1 小时前
2026年无锡健康管理行业服务模式与细胞技术应用观察
大数据·人工智能·精选