flink学习之窗口处理函数

窗口处理函数

什么是窗口处理函数

Flink 本身提供了多层 API,DataStream API 只是中间的一环,在更底层,我们可以不定义任何具体的算子(比如 map(),filter(),或者 window()),而只是提炼出一个统一的"处理"(process)操作------它是所有转换算子的一个概括性的表达,可以自定义处理逻辑,所以这一层接口就被叫作"处理函数"(process function)。

如何使用窗口处理函数

进行窗口计算,我们可以直接调用现成的简单聚合方法(sum()/max()/min()),也可以通过调用 reduce()或 aggregate()来自定义一般的增量聚合函数(ReduceFunction/AggregateFucntion);

而对于更加复杂、需要窗口信息和额外状态的一些场景,我们还可以直接使用全窗口函数、把数据全部收集保存在窗口内,等到触发窗口计算时再统一处理。窗口处理函数就是一种典型的全窗口函数。

窗 口 处 理 函 数 ProcessWindowFunction 的 使 用 与 其 他 窗 口 函 数 类 似 , 也 是 基 于

WindowedStream 直接调用方法就可以,只不过这时调用的是 process()

复制代码
stream.keyBy(_._1)
 .window( TumblingEventTimeWindows.of(Time.seconds(10)) )
 .process(new MyProcessWindowFunction)

rocessWindowFunction 是一个继承了 AbstractRichFunction 的抽象类,它有四个类型

参数:
IN :input,数据流中窗口任务的输入数据类型。
OUT :output,窗口任务进行计算之后的输出数据类型。
KEY :数据中键 key 的类型。
W :窗口的类型,是 Window 的子类型。一般情况下我们定义时间窗口,W 就是

TimeWindow。

因为全窗口函数不是逐个处理元素的,所以处理数据的方法在这里并不是 processElement(),
而是改成了 process()。方法包含四个参数。

  • key:窗口做统计计算基于的键,也就是之前 keyBy()用来分区的字段。
  • context:当前窗口进行计算的上下文,它的类型就是
  • ProcessWindowFunction 内部定 义的抽象类 Context。
  • elements:窗口收集到用来计算的所有数据,这是一个可迭代的集合类型。 out:用来发送数据输出计算结果的收集器,类型为Collector。

可以明显看出,这里的参数 elements 不再是一个输入数据,而是窗口中所有数据的集合。

ProcessWindowFunction 中除.process()方法外,并没有 onTimer()方法,而是多出了一个

clear()方法,这主要是方便我们进行窗口的清理工作。

至于另一种窗口处理函数 ProcessAllWinfdowFunction,它的用法非常类似。区别在于它基

于的是 AllWindowedStream,相当于对没有 keyBy()的数据流直接开窗并调用 process()方法:

复制代码
stream.windowAll( TumblingEventTimeWindows.of(Time.seconds(10)) )
.process(new MyProcessAllWindowFunction)
相关推荐
重启编程之路26 分钟前
python 基础学习socket -UDP编程
python·网络协议·学习·udp
Fantasydg38 分钟前
MyBatis学习
java·学习·mybatis
2501_933509071 小时前
无锡制造企税惠防错指南:知了问账帮守政策红利线
大数据·人工智能·微信小程序
song8546011341 小时前
锁的初步学习
开发语言·python·学习
F36_9_1 小时前
如何在沟通不畅导致误解后进行修复
大数据
青云交1 小时前
Java 大视界 -- 基于 Java 的大数据实时数据处理在工业互联网设备协同制造中的应用与挑战
flink·spark·工业互联网·预测性维护·实时数据处理·java 大数据·设备协同制造
数字化脑洞实验室2 小时前
智能决策系统落地后如何进行数据集成与安全保障?
大数据
AI浩2 小时前
人群计数的课程学习——是否值得:
学习
hmbbcsm3 小时前
python 学习之路(八)
学习
搞机械的假程序猿3 小时前
普中51单片机学习笔记-矩阵按键
笔记·学习·51单片机