Flink中的时间和窗口

Flink中的时间和窗口

在传统的批处理系统中,我们可以等到一批数据全部都到齐了之后,对其做相关的计算;但是在实时处理系统中,数据是源源不断的,正常情况下,我们就得来一条处理一条。那么,我们应该如何统计某个实时数据源中最近一段时间内的数据呢?

在Flink的观念中,引入了"窗口"的概念。所谓的"窗口",一般就是划定的一段时间范围,也就是"时间窗";对在这范围内的数据进行处理,就是所谓的窗口计算。所以窗口和时间往往是分不开的。

一、窗口(Window)

1.正确的理解窗口

简单来说,Flink是一个流式计算引擎,主要用来处理无界数据流的,数据源源不断、无穷无尽,想要方便高效的处理这种无界数据流,一种方式就是将这种无界数据划分为多个有界的"数据块",这其实就是窗口(Window)。

Flink中的窗口并不是提前创建好了的,而是动态创建的,当有落在这个窗口区间范围 的数据达到时,才创建对应的窗口。另外,这里我们认为到达窗口结束时间时,窗口就触发计算并关闭,事实上"触发计算"和"窗口关闭"两个行为也可以分开。

2.窗口的分类

1)按照驱动类型分

窗口本身是截取有界数据的一种方式,所以窗口一个非常重要的信息其实就是"怎样截取数据"。换句话说, 就是以什么标准来开始和结束数据的截取,我们把它叫作窗口的"驱动类型"。
(1)时间窗口(Time Window)

时间窗口以时间点来定义窗口的开始(start)和结束(end),所以截取出的就是某一时间段的数据。到达结束时间时,窗口不再收集数据,触发计算输出结果,并将窗口关闭销毁。
(2)计数窗口(Count Window)

计数窗口基于元素的个数来截取数据,到达固定的个数时就触发计算并关闭窗口。每个窗口截取数据的个数, 就是窗口的大小。

通过上面的图我们可以看到,时间窗口的时间固定,计数窗口的计数固定。

其实,到这里,我们可以进一步正确的理解窗口,在Flink中,窗口其实并不是一个"框",它更加像一个"桶",在Flink中,窗口可以把流切割为有限大小的多个"存储桶"(bucket),流中的每一个数据都会进入到对应的桶中,当窗口的结束时间到达时,就会关闭桶并且对桶中的数据进行收集计算,也就是所谓的窗口计算。
2)按照窗口分配数据的规则分类

根据分配数据的规则,窗口的具体实现可以分为 4 类:滚动窗口(Tumbling Window)、 滑动窗口(Sliding Window)、会话窗口(Session Window),以及全局窗口(Global Window)。
滚动窗口(Tumbling Window)

滚动窗口可以基于时间定义,也可以基于数据个数定义;需要的参数只有一个, 就 是 窗 口 的 大 小 ( window size)。比如我们可以定义一个长度为1小时的滚动时间窗口, 那么每个小时就会进行一次统计;或者定义一个长度为10的滚动计数窗口,就会每10个数进行一次统计。

可以看出,滚动窗口的应用非常广泛,它可以对每个时间段的数据做统计计算。

滑动窗口(Sliding Window)

滑动窗口的大小也是固定的。但是窗口之间并不是首尾相接的,而是可以"错开"一定的位置。 定义滑动窗口的参数有两个:除去窗口大小(window size)之外,还有一个"滑动步长"(window slide), 它其实就代表了窗口计算的频率。窗口在结束时间触发计算输出结果,那么滑动步长就代表了计算频率。

当滑动步长小于窗口大小时,滑动窗口就会出现重叠, 这时数据也可能会被同时分配 到多个窗口中。而具体的个数, 就由窗口大小和滑动步长的比 值(size/slide)来决定。 滚动窗口也可以看作是一 种特殊的滑动窗口------窗口大小等于滑动步长(size = slide)。 滑动窗口适合计算结果更新 频率非常高的场景。

相比滚动窗口而言,滚动窗口可以做每个时间段的计算,滑动窗口就更适合做最近一个时间段的计算。

会话窗口(Session Window)

会话窗口,是基于"会话"(session)来来对数据进行分组的。会话窗口只能基于时间来定义。 会话窗口中,最重要的参数就是会话的超时时间,也就是两个会话窗口之间的最小距离。如果相邻两个数据到来的时间间隔(Gap)小于指定的大小(size),那说明还在保持会话,它们就属于同一个窗口;如果gap大于size, 那么新来的数据就应该属于新的会话窗口,而前一个窗口就应该关闭了。

会话窗口的长度不固定, 起始和结束时间也是不确定 的,各个分区之间窗口没有 任何关联。会话窗口之间一 定是不会重叠的,而且会留 有至少为size的间隔(session gap)。在一些类似保持会话的场 景下,可以使用会话窗口来进 行数据的处理统计。

全局窗口(Global Windows)

"全局窗口",这种窗口全局有效,会把相同key的所有数据都分配到同一个窗口中。这种窗口没有结束的时候, 默认是不会做触发计算的。如果希望它能对数据进行计算处理,还需要自定义"触发器"(Trigger)。

全局窗口没有结束的 时间点,所以一般在希望 做更加灵活的窗口处理时 自定义使用。Flink中的计数窗口(Count Window), 底层就是用全局窗口实现的。

二、时间语义

到底是以那种时间作为衡量标准,就是所谓的"时间语义"。

在实际应用中,事件时间语义会更为常见。一般情况下,业务日志数据中都会记录数据生成的时间戳(timestamp),它就可以作为事件时间的判断基础。 在 Flink 中,由于处理时间比较简单,早期版本默认的时间语义是处理时间;而考虑到事件时间在实际应用中更为广泛,从 Flink1.12 版本开始,Flink 已经将事件时间作为默认的时间语义了。

相关推荐
weixin_4404016931 分钟前
大数据技术-人工智能编程题
大数据·人工智能·python·1024程序员节
远航计算机1 小时前
收录从分钟级变 3 到 7 天,抢首发为什么失效了
大数据·人工智能·爬虫·chatgpt·aigc·1024程序员节
CRMEB系统商城1 小时前
服装连锁的导购分销与企微私域
java·大数据·开发语言·人工智能·小程序·php·1024程序员节
有Li2 小时前
主动脉瘤的最佳风险重新分类:断层增强CT与二维经胸超声心动图对比研究文献速递/医学影像的几何测量
大数据·人工智能·深度学习·机器学习·医学生
renhongxia112 小时前
边缘AI部署与大模型轻量化技术全景:量化、蒸馏、RAG 与智能体落地实战
大数据·人工智能
企查查数据服务13 小时前
股权穿透+责任传导是医药并购合规健康度评分卡
大数据·人工智能
YH_Analytics14 小时前
2026 年增亮膜(DBEF)行业市场格局深度解析
大数据·网络
方芯半导体14 小时前
2026工业机器人控制芯片赛道:竞争格局与关键选型指标深度解析
大数据·人工智能·机器人
GlobalInfo14 小时前
上新 | 全球及中国起重机摄像系统行业研究报告(2026版):市场现状、行业前景与占有率分析
大数据·分布式·微服务·ai·相机
科创致远14 小时前
科创致远 ESOP 赋能车间图纸全维管理实战
大数据·人工智能·制造·精益工程