flink interval join为什么配置的是前后2分钟 ,但是每次都是左流到了4分钟,匹配不上才下发,和预期的不一样

客户反馈现象:

L.time between r.time - interval '1' minute and r.time + intervel '1' minute 实际上是2分钟匹配不上才下发

L.time between r.time - interval '1' minute and r.time 实际上是1分钟30秒匹配不上才下发

L.time between r.time and r.time + intervel'1' minute 实际上是立刻下发

L.time between r.time - interval '2' minute and r.time + intervel '2' minute 实际上是4分钟匹配不上才下发

排查后的结论:配置的上下界是[a,b],那结果为 1.5a + 0.5b 时间之后匹配不上才下发

复制代码
源码分析:由三个属性进行控制 分别是 左流时间,右流时间、 根据左右流时间得到的minCleanUpInterval,为0.5a+0.5b
this.leftRelativeSize = -leftLowerBound;   // 左流的时间 即a
this.rightRelativeSize = leftUpperBound;  // 右流的时间  即b
this.minCleanUpInterval =(this.leftRelativeSize + this.rightRelativeSize) / 2L;   // 最小的区间 为0.5a + 0.5b
this.allowedLateness  = 0;  // 默认为0
if (leftRow) {
    // 若是左流,则为 rowTime + a + this.minCleanUpInterval + 0 + 1L , 即为 1.5a + 0.5b + 1L
    cleanUpTime = rowTime + this.leftRelativeSize + this.minCleanUpInterval + this.allowedLateness + 1L;
    this.registerTimer(ctx, cleanUpTime);
    this.rightTimerState.update(cleanUpTime);
} else {
    // 若是右流,则为 rowTime + b + this.minCleanUpInterval + 0 + 1L , 即为 1.5b+ 0.5a + 1L
    cleanUpTime = rowTime + this.rightRelativeSize + this.minCleanUpInterval + this.allowedLateness + 1L;
    this.registerTimer(ctx, cleanUpTime);
    this.leftTimerState.update(cleanUpTime);
}

源码定位过程:

看到这个问题,立马能想到需要通过源码查找原因,flink join本质是对窗口的操作,窗口在flink底层是基于Timer定时器来实现的,只需在ctx.timerService().registerProcessingTimeTimer()方法处打断点进行debug,即可知道是从哪里进行注册,从而定位到上述的源码类:org.apache.flink.table.runtime.operators.join.interval.TimeIntervalJoin。

就这样,不到5分钟排查出了问题得到原因。

相关推荐
我爱学习好爱好爱7 分钟前
Elasticsearch 7.17.10 双节点集群部署实战(基于 Rocky Linux 9.6)
大数据·linux·elasticsearch
AC赳赳老秦15 分钟前
2026 AI原生工具链升级:DeepSeek与AI原生IDE深度联动,重塑开发效率新高度
大数据·ide·人工智能·web3·去中心化·ai-native·deepseek
TYFHVB1237 分钟前
2026六大主流CRM横评,五大核心维度深度解析
大数据·前端·数据结构·人工智能
武子康41 分钟前
大数据-245 离线数仓 - 电商分析 Hive 拉链表入门实战:缓慢变化维 SCD 类型、建表加载与常见错误速查
大数据·后端·apache hive
芝士爱知识a1 小时前
2026年 AI 期权工具全维度测评与推荐榜单:AlphaGBM 领跑,量化交易新范式
大数据·人工智能·python·ai量化·alphagbm·ai期权工具·ai期权工具推荐
天远Date Lab1 小时前
天远入职背调报告API对接实战:Python构建自动化背景调查中台
大数据·网络·python·自动化
Data_Journal1 小时前
如何将网站数据抓取到 Excel:一步步指南
大数据·开发语言·数据库·人工智能·php
小树苗m1 小时前
win11系统中安装openclaw、配置飞书及彻底卸载openclaw
大数据·飞书·openclaw·openclaw配置飞书·卸载openclaw·安装openclaw
赵谨言1 小时前
基于YOLOv5的火灾检测研究是当前计算机视觉和消防安全领域的重要研究方向
大数据·开发语言·经验分享·python
AC赳赳老秦1 小时前
2026国产大模型协同趋势:以DeepSeek为枢纽,构建高效智能协作网络
大数据·网络·人工智能·搜索引擎·交互·ai-native·deepseek