Flink-【时间语义、窗口、水位线】

1. 时间语义

1.1 事件时间:数据产生的事件(机器时间);

1.2 处理时间:数据处理的时间(系统时间)。

🌰:可乐

可乐的生产日期 = 事件时间(可乐产生的时间);

可乐被喝的时间 = 处理时间(可乐被处理【喝掉=处理】的时间)。

机器时间:可能不准确(例如:A可乐厂的时钟比较慢,B可乐厂的时钟比较快,但实际上B产生可乐的时间比A产生可乐的时间慢,却被先处理了)

系统时间:相对准确(处理机器设置的时间,一般无误【当然分布式可能会有误差,但是一般会先校准同一个时钟再处理数据】)

2. 窗口

2.1 滑动窗口:设置窗口大小,步长大小;

🌰:窗口大小5,步长2

2.2 滚动窗口:一般设置窗口大小即可;

🌰:窗口大小5

2.3 会话窗口:设置会话窗口大小;

2.4 计数窗口:设置窗口处理数据的数目。

3. 水位线

水位线是Flink窗口处理数据的临界线;一般为了处理延迟数据,还会搭配一个容忍时间。

例如:使用滚动窗口,水位线为5,容忍时间为2,处理如下。

滚动窗口有两个,分别是【1,5)和【5,10)

处理时间有7个,分别是:1,2,7,3,6,5,20

1,2处理时间事件到达后,交给【1,5)窗口处理;

7处理时间事件到达后,由于7-2=5大于【1,5)这个窗口了(处理时间 - 容忍时间),所以关闭【1,5)窗口,进行计算...(就好比上课,有些同学没到,老师说晚2分钟再开始上课,7这个处理时间已经是在2分钟后了,所以开始讲课,不等了),7归类到【5,10)窗口进行计算;

3处理时间时间到达后,由于他是在【1,5)窗口的,但是该窗口已经关闭计算了,所以此时的3处理时间事件只能丢弃;

后面6,5,20处理时间事件分析同上...

相关推荐
Flynn Liang2 小时前
物联网时序数据乱序问题全链路治理:从设备到存储的五层实战(附 Flink/Kafka/IoTDB 配置级代码)
flink·kafka·iot·iotdb·emqx·乱序·时序数据
4SAPI2 小时前
多模态 AI 应用统一接入网关生产选型指南:4SAPI、硅基流动与 OpenRouter 的架构权衡
大数据·人工智能·架构·php·1024程序员节
richdata2 小时前
从采购承诺到库存周转:降低库存资金占用的六个计划杠杆
大数据·前端·javascript
微订校园外卖平台2 小时前
县城多门店外卖履约系统怎么做:统一后台、共享骑手池与分店对账的架构清单
大数据·架构·外卖系统·本地生活·微订
维基框架3 小时前
OpenAI GPT-6.1 Terra发布AI开始真正操作电脑,使用成本也降了
大数据·人工智能·gpt
小冯不疯3 小时前
查询旺店通货品策略实战教程:从源系统拉取到轻易云的端到端落地
java·大数据·数据库
海宇服务3 小时前
零信任架构实战:基于海宇个人大数据报告构建自动化汽车融资租赁资信核验网关
大数据·人工智能·架构·自动化
zhongben123_3 小时前
从零开发一个打车APP:技术选型、系统架构与成本评估指南
大数据·运维·ios·系统架构·uni-app·web app
FII工业富联科技服务3 小时前
服务器开始按柜交付 数据中心需要具备怎样的承接能力
大数据·运维·服务器·人工智能·自动化·制造
等一个人的@4 小时前
数睿通2.0更新:新增高质量数据集模块,UI全面调整优化
大数据·人工智能