flink水位线传播及任务事件时间

背景

本文来讲解一下flink的水位线传播及对其对任务事件时间的影响

水位线

首先flink是通过从源头生成水位线记录的方式来实现水位线传播的,也就是说水位线是嵌入在正常的记录流中的特殊记录,携带者水位线的时间戳,以下我们就通过图片的方式来讲解下水位线是如何传播以及更新任务的事件时间的.

如上图所示,任务中的事件时间等于任务中收到的前置任务中的最小水位线时间,然后任务会把当前任务的事件时间通过广播的方式向下游传播.

总结

从水位线的更新我们可以知道它依赖于前置的每个任务周期性的推进对应分区的水位线时间,也就是如果某个分区的水位线时间一直不更新,那么任务的事件时间就会没法更新,这样也就导致一直没法触发时间相关算子任务的计算,从而导致该任务只能不停的缓冲其他分区的记录流,从而导致状态大小膨胀以及内存消耗的增加,甚至导致OOM的严重后果,所以所有分区的水位线必须有规律的递增,并且相互之间不能相差太大。

相关推荐
玩美数据21 分钟前
全球数据分析服务竞争态势与战略机遇深度解读
大数据·人工智能
AI领域分享25 分钟前
批量做漫剧视频选什么工具?知漫剧多集任务实测
大数据·人工智能·音视频
AllData公司负责人30 分钟前
数据 + AI 一体化 I 机器学习中心(CubeStudio)实现目标识别可视化训练与弹性部署,让视觉模型快速投产
大数据·人工智能·机器学习·大模型·数据采集·ai一体化
阿俊-全栈开发1 小时前
LikeShop 多商户高级版商城满减满赠活动的自定义规则二开实现
大数据·人工智能·likeshop开源商城·likeshop单商户标准版·多商户源码
magic_kid_20102 小时前
HDFS 故障复盘:千万级 block 导致 FBR 超过 128 MiB,DataNode 被判定为 dead
大数据·hadoop·hdfs·hadoop 故障
欢醉2 小时前
Flink实时同步Oracle到StarRocks的几个踩坑经验分享
starrocks·oracle·flink
LCD液晶屏2 小时前
立煌科技代理京东方液晶屏的核心优势与应用价值
大数据·人工智能·科技
Data-Miner11 小时前
面对 AI 大模型智能涌现,如何从技术层面保护好隐私与数据安全?
大数据·人工智能
会议咨询12 小时前
2027年电力电子、人工智能与大数据国际会议(PEABD 2027)
大数据·人工智能·电力电子
GlobalInfo13 小时前
全球包装检测用3D轮廓传感器市场调研:2026年规模预计达1.87亿美元,食品医药与电商物流需求推动增长
大数据·人工智能·3d