flink的window和windowAll的区别

背景

在flink的窗口函数运用中,window和windowAll方法总是会引起混淆,特别是结合上GlobalWindow的组合时,更是如此,本文就来梳理下他们的区别和常见用法

window和windowAll的区别

window是KeyStream数据流的方法,其并行度是任意的,也就是最大可以和分组key的数量相同

windowAll是DataStream数据流的方法,其并行度只能是1,也就是所有的元素都会被聚合到一个算子任务上,性能极差

GlobalWindows.create()是一个全局的窗口分配器,

它的作用和TimeWindow或CountWindow一样,都是对元素进行窗口分配,不同点在于GlobalWindows把分区内所有的元素分配到同一个窗口,并且不会触发计算,

而TimeWindow或CountWindow会基于时间或者元素个数对元素进行窗口的分配,并且满足条件就会触发计算

以下是示意图:

GlobalWindows+KeyedStream常见用法如下:

WindowedStream<Integer, Integer, GlobalWindow> keyedWindowedStream = keyedStream.window(GlobalWindows.create()).trigger(PurgingTrigger.of(CountTrigger.of(10)));

GlobalWindows+DataStream常见用法如下:

AllWindowedStream<Integer, GlobalWindow> allWindowedStream = dataStream.windowAll(GlobalWindows.create()).trigger(PurgingTrigger.of(CountTrigger.of(10)));

相关推荐
字节数据平台1 小时前
评测也很酷,Data Agent 自动化评测的三层框架与实战
大数据
Elastic 中国社区官方博客2 小时前
Elasticsearch:圣诞晚餐 BBQ - 图像识别
大数据·数据库·elasticsearch·搜索引擎·ai·全文检索
Macbethad2 小时前
数据挖掘实战项目:用户行为分析模型技术报告
大数据
LINGYI0002 小时前
品牌电商全域代运营公司——简述
大数据·全域电商
努力成为一个程序猿.2 小时前
1.ElasticSearch单节点部署
大数据·elasticsearch·搜索引擎
Hello.Reader3 小时前
Flink Process Table Functions(PTF)实战详解:把 SQL 变成“可编程算子”,状态、时间、定时器一把梭
网络·sql·flink
渲吧-云渲染4 小时前
概念解码:PDM、PLM与ERP——厘清边界,深化协作,驱动制造数字化升级
大数据·制造
建群新人小猿7 小时前
陀螺匠企业助手-我的日程
android·大数据·运维·开发语言·容器
云和数据.ChenGuang7 小时前
git commit复合指令
大数据·git·elasticsearch
尋有緣7 小时前
力扣614-二级关注者
大数据·数据库·sql·oracle