Flink中的时间和窗口

Flink中的时间和窗口

在传统的批处理系统中,我们可以等到一批数据全部都到齐了之后,对其做相关的计算;但是在实时处理系统中,数据是源源不断的,正常情况下,我们就得来一条处理一条。那么,我们应该如何统计某个实时数据源中最近一段时间内的数据呢?

在Flink的观念中,引入了"窗口"的概念。所谓的"窗口",一般就是划定的一段时间范围,也就是"时间窗";对在这范围内的数据进行处理,就是所谓的窗口计算。所以窗口和时间往往是分不开的。

一、窗口(Window)

1.正确的理解窗口

简单来说,Flink是一个流式计算引擎,主要用来处理无界数据流的,数据源源不断、无穷无尽,想要方便高效的处理这种无界数据流,一种方式就是将这种无界数据划分为多个有界的"数据块",这其实就是窗口(Window)。

Flink中的窗口并不是提前创建好了的,而是动态创建的,当有落在这个窗口区间范围 的数据达到时,才创建对应的窗口。另外,这里我们认为到达窗口结束时间时,窗口就触发计算并关闭,事实上"触发计算"和"窗口关闭"两个行为也可以分开。

2.窗口的分类

1)按照驱动类型分

窗口本身是截取有界数据的一种方式,所以窗口一个非常重要的信息其实就是"怎样截取数据"。换句话说, 就是以什么标准来开始和结束数据的截取,我们把它叫作窗口的"驱动类型"。
(1)时间窗口(Time Window)

时间窗口以时间点来定义窗口的开始(start)和结束(end),所以截取出的就是某一时间段的数据。到达结束时间时,窗口不再收集数据,触发计算输出结果,并将窗口关闭销毁。
(2)计数窗口(Count Window)

计数窗口基于元素的个数来截取数据,到达固定的个数时就触发计算并关闭窗口。每个窗口截取数据的个数, 就是窗口的大小。

通过上面的图我们可以看到,时间窗口的时间固定,计数窗口的计数固定。

其实,到这里,我们可以进一步正确的理解窗口,在Flink中,窗口其实并不是一个"框",它更加像一个"桶",在Flink中,窗口可以把流切割为有限大小的多个"存储桶"(bucket),流中的每一个数据都会进入到对应的桶中,当窗口的结束时间到达时,就会关闭桶并且对桶中的数据进行收集计算,也就是所谓的窗口计算。
2)按照窗口分配数据的规则分类

根据分配数据的规则,窗口的具体实现可以分为 4 类:滚动窗口(Tumbling Window)、 滑动窗口(Sliding Window)、会话窗口(Session Window),以及全局窗口(Global Window)。
滚动窗口(Tumbling Window)

滚动窗口可以基于时间定义,也可以基于数据个数定义;需要的参数只有一个, 就 是 窗 口 的 大 小 ( window size)。比如我们可以定义一个长度为1小时的滚动时间窗口, 那么每个小时就会进行一次统计;或者定义一个长度为10的滚动计数窗口,就会每10个数进行一次统计。

可以看出,滚动窗口的应用非常广泛,它可以对每个时间段的数据做统计计算。

滑动窗口(Sliding Window)

滑动窗口的大小也是固定的。但是窗口之间并不是首尾相接的,而是可以"错开"一定的位置。 定义滑动窗口的参数有两个:除去窗口大小(window size)之外,还有一个"滑动步长"(window slide), 它其实就代表了窗口计算的频率。窗口在结束时间触发计算输出结果,那么滑动步长就代表了计算频率。

当滑动步长小于窗口大小时,滑动窗口就会出现重叠, 这时数据也可能会被同时分配 到多个窗口中。而具体的个数, 就由窗口大小和滑动步长的比 值(size/slide)来决定。 滚动窗口也可以看作是一 种特殊的滑动窗口------窗口大小等于滑动步长(size = slide)。 滑动窗口适合计算结果更新 频率非常高的场景。

相比滚动窗口而言,滚动窗口可以做每个时间段的计算,滑动窗口就更适合做最近一个时间段的计算。

会话窗口(Session Window)

会话窗口,是基于"会话"(session)来来对数据进行分组的。会话窗口只能基于时间来定义。 会话窗口中,最重要的参数就是会话的超时时间,也就是两个会话窗口之间的最小距离。如果相邻两个数据到来的时间间隔(Gap)小于指定的大小(size),那说明还在保持会话,它们就属于同一个窗口;如果gap大于size, 那么新来的数据就应该属于新的会话窗口,而前一个窗口就应该关闭了。

会话窗口的长度不固定, 起始和结束时间也是不确定 的,各个分区之间窗口没有 任何关联。会话窗口之间一 定是不会重叠的,而且会留 有至少为size的间隔(session gap)。在一些类似保持会话的场 景下,可以使用会话窗口来进 行数据的处理统计。

全局窗口(Global Windows)

"全局窗口",这种窗口全局有效,会把相同key的所有数据都分配到同一个窗口中。这种窗口没有结束的时候, 默认是不会做触发计算的。如果希望它能对数据进行计算处理,还需要自定义"触发器"(Trigger)。

全局窗口没有结束的 时间点,所以一般在希望 做更加灵活的窗口处理时 自定义使用。Flink中的计数窗口(Count Window), 底层就是用全局窗口实现的。

二、时间语义

到底是以那种时间作为衡量标准,就是所谓的"时间语义"。

在实际应用中,事件时间语义会更为常见。一般情况下,业务日志数据中都会记录数据生成的时间戳(timestamp),它就可以作为事件时间的判断基础。 在 Flink 中,由于处理时间比较简单,早期版本默认的时间语义是处理时间;而考虑到事件时间在实际应用中更为广泛,从 Flink1.12 版本开始,Flink 已经将事件时间作为默认的时间语义了。

相关推荐
Elastic 中国社区官方博客16 分钟前
使用 Vertex AI Gemini 模型和 Elasticsearch Playground 快速创建 RAG 应用程序
大数据·人工智能·elasticsearch·搜索引擎·全文检索
CHICX12291 小时前
【Hadoop】改一下core-site.xml和hdfs-site.xml配置就可以访问Web UI
xml·大数据·hadoop
权^2 小时前
MySQL--聚合查询、联合查询、子查询、合并查询(上万字超详解!!!)
大数据·数据库·学习·mysql
bin91536 小时前
【EXCEL数据处理】000010 案列 EXCEL文本型和常规型转换。使用的软件是微软的Excel操作的。处理数据的目的是让数据更直观的显示出来,方便查看。
大数据·数据库·信息可视化·数据挖掘·数据分析·excel·数据可视化
极客先躯9 小时前
Hadoop krb5.conf 配置详解
大数据·hadoop·分布式·kerberos·krb5.conf·认证系统
2301_7869643611 小时前
3、练习常用的HBase Shell命令+HBase 常用的Java API 及应用实例
java·大数据·数据库·分布式·hbase
matlabgoodboy12 小时前
“图像识别技术:重塑生活与工作的未来”
大数据·人工智能·生活
happycao12313 小时前
Flink 03 | 数据流基本操作
大数据·flink
Neituijunsir13 小时前
2024.09.22 校招 实习 内推 面经
大数据·人工智能·算法·面试·自动驾驶·汽车·求职招聘
Data 31715 小时前
Hive数仓操作(十一)
大数据·数据库·数据仓库·hive·hadoop