flink学习之窗口处理函数

窗口处理函数

什么是窗口处理函数

Flink 本身提供了多层 API,DataStream API 只是中间的一环,在更底层,我们可以不定义任何具体的算子(比如 map(),filter(),或者 window()),而只是提炼出一个统一的"处理"(process)操作------它是所有转换算子的一个概括性的表达,可以自定义处理逻辑,所以这一层接口就被叫作"处理函数"(process function)。

如何使用窗口处理函数

进行窗口计算,我们可以直接调用现成的简单聚合方法(sum()/max()/min()),也可以通过调用 reduce()或 aggregate()来自定义一般的增量聚合函数(ReduceFunction/AggregateFucntion);

而对于更加复杂、需要窗口信息和额外状态的一些场景,我们还可以直接使用全窗口函数、把数据全部收集保存在窗口内,等到触发窗口计算时再统一处理。窗口处理函数就是一种典型的全窗口函数。

窗 口 处 理 函 数 ProcessWindowFunction 的 使 用 与 其 他 窗 口 函 数 类 似 , 也 是 基 于

WindowedStream 直接调用方法就可以,只不过这时调用的是 process()

stream.keyBy(_._1)
 .window( TumblingEventTimeWindows.of(Time.seconds(10)) )
 .process(new MyProcessWindowFunction)

rocessWindowFunction 是一个继承了 AbstractRichFunction 的抽象类,它有四个类型

参数:
IN :input,数据流中窗口任务的输入数据类型。
OUT :output,窗口任务进行计算之后的输出数据类型。
KEY :数据中键 key 的类型。
W :窗口的类型,是 Window 的子类型。一般情况下我们定义时间窗口,W 就是

TimeWindow。

因为全窗口函数不是逐个处理元素的,所以处理数据的方法在这里并不是 processElement(),
而是改成了 process()。方法包含四个参数。

  • key:窗口做统计计算基于的键,也就是之前 keyBy()用来分区的字段。
  • context:当前窗口进行计算的上下文,它的类型就是
  • ProcessWindowFunction 内部定 义的抽象类 Context。
  • elements:窗口收集到用来计算的所有数据,这是一个可迭代的集合类型。 out:用来发送数据输出计算结果的收集器,类型为Collector。

可以明显看出,这里的参数 elements 不再是一个输入数据,而是窗口中所有数据的集合。

ProcessWindowFunction 中除.process()方法外,并没有 onTimer()方法,而是多出了一个

clear()方法,这主要是方便我们进行窗口的清理工作。

至于另一种窗口处理函数 ProcessAllWinfdowFunction,它的用法非常类似。区别在于它基

于的是 AllWindowedStream,相当于对没有 keyBy()的数据流直接开窗并调用 process()方法:

stream.windowAll( TumblingEventTimeWindows.of(Time.seconds(10)) )
.process(new MyProcessAllWindowFunction)
相关推荐
一只小菜鸡..1 分钟前
241126学习日志——[CSDIY] [ByteDance] 后端训练营 [19]
学习
Clockwiseee14 分钟前
JS原型、原型链以及原型链污染学习
javascript·学习·原型模式
qq_2147826118 分钟前
ChatGPT如何辅助academic writing?
人工智能·学习·chatgpt
Octopus207730 分钟前
【C++】读取数量不定的输入数据
开发语言·c++·笔记·学习
Lostgreen35 分钟前
计算机网络----基本概念
网络·笔记·学习·计算机网络
孤邑1 小时前
【Linux】网络通信
linux·服务器·网络·笔记·学习
Hacker_xingchen1 小时前
Web 学习笔记 - 网络安全
前端·笔记·学习
PaLu-LI1 小时前
ORB-SLAM2源码学习:Initializer.cc:Initializer::CheckFundamental地图初始化——检查基础矩阵F并评分
c++·opencv·学习·线性代数·ubuntu·计算机视觉·矩阵
9毫米的幻想1 小时前
【Linux系统】—— 基本指令(四)
linux·c语言·c++·学习
青い月の魔女1 小时前
数据结构初阶---复杂度
c语言·数据结构·笔记·学习·算法