ProcessFunction
系列对比概览
函数类别 | 关键特性 | 应用场景示例 |
---|---|---|
ProcessFunction |
基础类,处理单个事件,支持事件时间、水位线、状态管理、定时器。 | 单独处理每个事件,执行复杂逻辑,如基于事件内容动态响应。 |
KeyedProcessFunction |
基于键的处理,每个键有自己的状态。支持事件时间、水位线、状态管理、定时器。 | 按用户分组统计点击量,用户会话管理,状态跟踪。 |
CoProcessFunction |
处理两个数据流,独立处理来自两流的事件,支持事件时间、水位线、状态管理、定时器。 | 实时融合交易流与价格流,实时计算订单总价;日志与用户信息流的匹配处理。 |
ProcessJoinFunction |
专为流连接设计,处理两个数据流,简化版的CoProcessFunction ,不支持定时器。 |
简单的流连接操作,如订单ID与用户信息的关联。 |
BroadcastProcessFunction |
处理普通流与广播流,广播流的每个元素发给所有普通流元素,适用于全局状态更新。 | 实时规则更新,广播新的规则至所有交易验证逻辑。 |
KeyedBroadcastProcessFunction |
类似BroadcastProcessFunction ,但作用于键控流,每个键控流元素接收广播流所有元素。 |
每个用户个性化推荐算法更新,全局规则变化按用户分发。 |
ProcessWindowFunction |
在窗口聚合后处理窗口内所有元素,提供窗口上下文信息,如窗口开始/结束时间,适合窗口内复杂计算。 | 计算每小时温度波动,统计窗口内中位数、分位数等。 |
ProcessAllWindowFunction |
处理全窗口数据,非键控,适用于全局操作,如计算整个数据流的汇总统计信息。 | 计算整个数据流的总和或平均值,无需考虑分组。 |
异同点总结
- 状态管理与事件时间 :所有函数均支持事件时间和水位线处理,状态管理(除了
ProcessJoinFunction
),但Keyed
系列额外支持键控状态。 - 流处理 :
CoProcessFunction
、ProcessJoinFunction
处理多个流,而BroadcastProcessFunction
和KeyedBroadcastProcessFunction
支持广播状态传播。 - 窗口处理 :
ProcessWindowFunction
和ProcessAllWindowFunction
专用于窗口处理,前者基于键控窗口,后者处理全窗口数据。 - 灵活性 :
ProcessFunction
和KeyedProcessFunction
最为灵活,适用于广泛的复杂逻辑处理;ProcessWindowFunction
在窗口上下文中提供了额外的处理能力。
1. ProcessFunction
概述 :ProcessFunction
是最基本的形式,它不依赖于任何键或窗口,为每个输入事件提供完全的控制权。它允许访问事件的时间戳和水位线信息,并提供了注册和处理定时器的能力。
应用场景:适合需要对每个事件进行独立、复杂处理的场景,如基于事件的复杂逻辑判断、状态更新或基于时间的操作。
示例:处理单个事件,根据事件的内容动态注册定时器,进行后续处理。
2. KeyedProcessFunction
概述 :KeyedProcessFunction
是对ProcessFunction
的扩展,用于处理已经按照某个键(key)分组的数据流。它除了具备ProcessFunction
的所有功能外,还可以访问键控状态,即每个键都有独立的状态。
应用场景:适用于需要基于键的聚合或状态管理的场景,如统计每个用户的点击次数、维持每个商品的库存状态等。
示例:统计每个用户的登录次数,同时在特定事件后发送通知。
3. CoProcessFunction
概述:用于处理两个数据流的连接操作,每个流可以有不同的类型。它允许独立地处理来自两个流的事件,并提供了注册定时器的功能。
应用场景:当需要根据两个不同的数据流进行联合处理时使用,例如在实时交易系统中,将订单流和价格流合并,实时计算订单的最新总价。
示例:实时融合两个数据源,比如订单流和用户流,根据订单ID匹配用户信息,进行个性化推荐。
4. ProcessJoinFunction
概述 :专用于处理两个流的连接操作,但与CoProcessFunction
相比,它更专注于流的连接逻辑,而不提供事件时间处理或定时器功能。
应用场景:适用于简单的流连接,当只需要对两个流进行匹配和简单的处理时使用。
示例:基于键匹配两个流的记录,如用户行为日志与用户详情表的关联查询。
5. BroadcastProcessFunction
概述:用于处理一个普通数据流和一个广播数据流。广播流的每个元素都会被发送给所有普通流的元素,适合实现广播状态模式。
应用场景:当需要将某些全局配置或规则广播给所有流的处理逻辑时,比如实时更新的黑名单列表应用于每一条交易验证。
示例:实时更新规则引擎,当规则发生变化时,广播新规则至所有交易流,进行动态规则匹配。
6. KeyedBroadcastProcessFunction
概述 :类似于BroadcastProcessFunction
,但作用于键控流上,每个键控流的元素会接收到广播流的所有元素,同时保持了键控状态。
应用场景:在需要根据键进行状态管理和同时应用全局更新的场景,如每个用户个性化推荐算法的更新。
示例:根据用户偏好动态调整推荐算法,当推荐算法模型更新时,广播更新至每个用户的推荐逻辑中。
7. ProcessWindowFunction
概述:在窗口聚合操作结束后,对窗口内所有元素进行进一步处理。提供了窗口上下文信息,如窗口的开始和结束时间,可以访问窗口内所有元素并执行复杂计算。
应用场景:当窗口聚合后还需要进行复杂的计算或转换时,如计算窗口内的中位数、分位数等。
示例:计算每个小时内的温度变化率,不仅统计平均温度,还计算温度的最大波动。
8. ProcessAllWindowFunction
概述 :与ProcessWindowFunction
类似,但处理的是非键控的全窗口,即所有输入数据被视为一个整体处理,常用于全局窗口。
应用场景:适用于需要在整个数据集上执行全局操作,而不考虑键的场景,如计算整个数据流的总体统计信息。
示例:计算整个数据流的总和或平均值,不考虑数据的分组。
Flink assignTimestampsAndWatermarks 深度解析:时间语义与水印生成
Flink面试必问题:时间和窗口处理面试题及参考答案(3万字长文)
KeyedProcessFunction 在 Flink项目中的应用实战