flink时间处理语义

背景

在flink中有两种不同的时间处理语义,一种是基于算子处理时间的时间,也就是以flink的算子所在的机器的本地时间为准,一种是事件发生的实际时间,它只与事件发生时的时间有关,而与flink算子的所在的本地机器的本地时间无关

处理时间VS事件时间

我们假设有一个手机位置信息的应用不停的向flink应用提供位置信息,对于flink来说,假设不论是事件时间还是处理时间,都是以一分钟为时间窗口,此时正常情况下手机会把每秒自己的位置信息发送到flink中,这样不论是基于事件时间还是处理时间的窗口,每分钟其实都会收到60个事件,但假如我们的手机信号中断,导致本应该发送的位置信息延迟发送了,那么此时基于处理时间的窗口和基于事件时间的窗口的语义就完全不一样了,见下图

此时对于处理时间的窗口来说,前一分钟窗口可能只有少数的几个事件,而后一分钟的窗口包含了超过60个事件。

然而对于事件时间的窗口来说,由于它是基于事件发生的事件,所以可以做到正确的把这些延迟的事件也正确归类到对应的一分钟事件窗口中.

相关推荐
微三云马玮均—GEO源码系统 私有化部署7 小时前
消费返物业费:消费+服务趋势的必然产物!
大数据·人工智能·物联网·区块链·生活
workflower9 小时前
AI system product quality model
大数据·人工智能·机器学习·云计算·无人机
yl45309 小时前
硫酸泄露处理生产商怎么选才够专业
大数据·人工智能·python
xianghongtao01169 小时前
麦肯锡2026技术趋势02_智能体AI_研究解读
大数据·人工智能
数字化顾问10 小时前
(138页PPT)四大咨询矿业集团流程梳理与优化报告(附下载方式)
大数据·人工智能
yukai0800811 小时前
【203篇系列】056 我的Agent系统
大数据·elasticsearch·搜索引擎
yuanxi20013 小时前
青海共和百万千瓦光伏光热项目并网发电:大客户销售如何用价值力抓住能源大单
大数据·职场和发展·能源·创业创新·学习方法
W***259215 小时前
2026深度解读:Work Agent长程任务的执行机制与落地能力
大数据·人工智能
卷毛迷你猪15 小时前
快速实验篇(B07 )Session 会话化与序列
大数据·hive·hadoop
卷毛迷你猪16 小时前
快速实验篇(B08)搜索词分析实战
大数据·hive·hadoop