42、Flink 关于窗口状态大小的考量

关于状态大小的考量

窗口可以被定义在很长的时间段上(比如几天、几周或几个月)并且积累下很大的状态,当估算窗口计算的储存需求时,注意如下:

  • Flink 会为一个元素在它所属的每一个窗口中都创建一个副本。 因此,一个元素在滚动窗口的设置中只会存在一个副本(一个元素仅属于一个窗口,除非它迟到了)。 与之相反,一个元素可能会被拷贝到多个滑动窗口中,因此设置一个大小为一天、滑动距离为一秒的滑动窗口可能不是个好想法。
  • ReduceFunctionAggregateFunction 可以极大地减少储存需求,因为他们会就地聚合到达的元素, 且每个窗口仅储存一个值,而使用 ProcessWindowFunction 需要累积窗口中所有的元素。
  • 使用 Evictor 可以避免预聚合, 因为窗口中的所有数据必须先经过 evictor 才能进行计算。
相关推荐
萤丰信息20 分钟前
数字经济与 “双碳” 战略双轮驱动下 智慧园区的智能化管理实践与未来演进
大数据·人工智能·科技·智慧城市·智慧园区
pingao14137821 分钟前
实时远程监控,4G温湿度传感器守护环境安全
大数据·人工智能·安全
你才是臭弟弟29 分钟前
TDengine TSDB(数据备份与恢复)
大数据·时序数据库·tdengine
川西胖墩墩29 分钟前
网站开发完整流程梳理
大数据·数据库·架构·流程图·敏捷流程
AI智能探索者36 分钟前
大数据特征工程:如何处理文本与数值混合特征
大数据·ai
发哥来了36 分钟前
主流AI视频生成商用方案选型:关键维度与成本效益分析
大数据·人工智能
2501_9336707944 分钟前
2026高职大数据技术专业应届生就业方向分析
大数据
专注API从业者1 小时前
淘宝商品 API 接口架构解析:从请求到详情数据返回的完整链路
java·大数据·开发语言·数据库·架构
龙亘川1 小时前
GB4599-2024 落地!汽车照明迎重大升级,自适应功能 + 辅助投射成安全新标配~
大数据·人工智能·安全·汽车
小宇的天下1 小时前
Calibre :Standard Verification Rule Format(SVRF) Manual (1-1)
大数据·前端·网络