flink学习之窗口处理函数

窗口处理函数

什么是窗口处理函数

Flink 本身提供了多层 API,DataStream API 只是中间的一环,在更底层,我们可以不定义任何具体的算子(比如 map(),filter(),或者 window()),而只是提炼出一个统一的"处理"(process)操作------它是所有转换算子的一个概括性的表达,可以自定义处理逻辑,所以这一层接口就被叫作"处理函数"(process function)。

如何使用窗口处理函数

进行窗口计算,我们可以直接调用现成的简单聚合方法(sum()/max()/min()),也可以通过调用 reduce()或 aggregate()来自定义一般的增量聚合函数(ReduceFunction/AggregateFucntion);

而对于更加复杂、需要窗口信息和额外状态的一些场景,我们还可以直接使用全窗口函数、把数据全部收集保存在窗口内,等到触发窗口计算时再统一处理。窗口处理函数就是一种典型的全窗口函数。

窗 口 处 理 函 数 ProcessWindowFunction 的 使 用 与 其 他 窗 口 函 数 类 似 , 也 是 基 于

WindowedStream 直接调用方法就可以,只不过这时调用的是 process()

stream.keyBy(_._1)
 .window( TumblingEventTimeWindows.of(Time.seconds(10)) )
 .process(new MyProcessWindowFunction)

rocessWindowFunction 是一个继承了 AbstractRichFunction 的抽象类,它有四个类型

参数:
IN :input,数据流中窗口任务的输入数据类型。
OUT :output,窗口任务进行计算之后的输出数据类型。
KEY :数据中键 key 的类型。
W :窗口的类型,是 Window 的子类型。一般情况下我们定义时间窗口,W 就是

TimeWindow。

因为全窗口函数不是逐个处理元素的,所以处理数据的方法在这里并不是 processElement(),
而是改成了 process()。方法包含四个参数。

  • key:窗口做统计计算基于的键,也就是之前 keyBy()用来分区的字段。
  • context:当前窗口进行计算的上下文,它的类型就是
  • ProcessWindowFunction 内部定 义的抽象类 Context。
  • elements:窗口收集到用来计算的所有数据,这是一个可迭代的集合类型。 out:用来发送数据输出计算结果的收集器,类型为Collector。

可以明显看出,这里的参数 elements 不再是一个输入数据,而是窗口中所有数据的集合。

ProcessWindowFunction 中除.process()方法外,并没有 onTimer()方法,而是多出了一个

clear()方法,这主要是方便我们进行窗口的清理工作。

至于另一种窗口处理函数 ProcessAllWinfdowFunction,它的用法非常类似。区别在于它基

于的是 AllWindowedStream,相当于对没有 keyBy()的数据流直接开窗并调用 process()方法:

stream.windowAll( TumblingEventTimeWindows.of(Time.seconds(10)) )
.process(new MyProcessAllWindowFunction)
相关推荐
hxung27 分钟前
MySQL面试学习
学习·mysql·面试
weixin_502539851 小时前
rust学习笔记5-所有权机制
笔记·学习·rust
PyAIGCMaster1 小时前
50周学习go语言:第四周 函数与错误处理深度解析
开发语言·学习·golang
~kiss~1 小时前
Rust学习~tokio简介
开发语言·学习·rust
nangonghen1 小时前
flink operator v1.10部署flink v1.19.2
大数据·flink·flink operator
StickToForever5 小时前
第4章 信息系统架构(五)
经验分享·笔记·学习·职场和发展
leegong231119 小时前
学习PostgreSQL专家认证
数据库·学习·postgresql
Moonnnn.10 小时前
51单片机学习——动态数码管显示
笔记·嵌入式硬件·学习·51单片机
大数据追光猿10 小时前
Python应用算法之贪心算法理解和实践
大数据·开发语言·人工智能·python·深度学习·算法·贪心算法
南宫生10 小时前
力扣每日一题【算法学习day.132】
java·学习·算法·leetcode