flink interval join为什么配置的是前后2分钟 ,但是每次都是左流到了4分钟,匹配不上才下发,和预期的不一样

客户反馈现象:

L.time between r.time - interval '1' minute and r.time + intervel '1' minute 实际上是2分钟匹配不上才下发

L.time between r.time - interval '1' minute and r.time 实际上是1分钟30秒匹配不上才下发

L.time between r.time and r.time + intervel'1' minute 实际上是立刻下发

L.time between r.time - interval '2' minute and r.time + intervel '2' minute 实际上是4分钟匹配不上才下发

排查后的结论:配置的上下界是[a,b],那结果为 1.5a + 0.5b 时间之后匹配不上才下发

复制代码
源码分析:由三个属性进行控制 分别是 左流时间,右流时间、 根据左右流时间得到的minCleanUpInterval,为0.5a+0.5b
this.leftRelativeSize = -leftLowerBound;   // 左流的时间 即a
this.rightRelativeSize = leftUpperBound;  // 右流的时间  即b
this.minCleanUpInterval =(this.leftRelativeSize + this.rightRelativeSize) / 2L;   // 最小的区间 为0.5a + 0.5b
this.allowedLateness  = 0;  // 默认为0
if (leftRow) {
    // 若是左流,则为 rowTime + a + this.minCleanUpInterval + 0 + 1L , 即为 1.5a + 0.5b + 1L
    cleanUpTime = rowTime + this.leftRelativeSize + this.minCleanUpInterval + this.allowedLateness + 1L;
    this.registerTimer(ctx, cleanUpTime);
    this.rightTimerState.update(cleanUpTime);
} else {
    // 若是右流,则为 rowTime + b + this.minCleanUpInterval + 0 + 1L , 即为 1.5b+ 0.5a + 1L
    cleanUpTime = rowTime + this.rightRelativeSize + this.minCleanUpInterval + this.allowedLateness + 1L;
    this.registerTimer(ctx, cleanUpTime);
    this.leftTimerState.update(cleanUpTime);
}

源码定位过程:

看到这个问题,立马能想到需要通过源码查找原因,flink join本质是对窗口的操作,窗口在flink底层是基于Timer定时器来实现的,只需在ctx.timerService().registerProcessingTimeTimer()方法处打断点进行debug,即可知道是从哪里进行注册,从而定位到上述的源码类:org.apache.flink.table.runtime.operators.join.interval.TimeIntervalJoin。

就这样,不到5分钟排查出了问题得到原因。

相关推荐
数智顾问1 小时前
【73页PPT】美的简单高效的管理逻辑(附下载方式)
大数据·人工智能·产品运营
和科比合砍81分1 小时前
ES模块(ESM)、CommonJS(CJS)和UMD三种格式
大数据·elasticsearch·搜索引擎
瓦哥架构实战3 小时前
从 Prompt 到 Context:LLM OS 时代的核心工程范式演进
大数据
weixin_lynhgworld3 小时前
盲盒抽卡机小程序系统开发:以技术创新驱动娱乐体验升级
大数据·盲盒·抽谷机
TDengine (老段)4 小时前
TDengine 时间函数 TODAY() 用户手册
大数据·数据库·物联网·oracle·时序数据库·tdengine·涛思数据
悟乙己5 小时前
数据科学家如何更好地展示自己的能力
大数据·数据库·数据科学家
东哥说-MES|从入门到精通5 小时前
Mazak MTF 2025制造未来参观总结
大数据·网络·人工智能·制造·智能制造·数字化
盟接之桥5 小时前
盟接之桥说制造:在安全、确定与及时之间,构建品质、交期与反应速度的动态平衡
大数据·运维·安全·汽车·制造·devops
链上日记6 小时前
STC携手VEX发起全球首个碳资产RWA生态,泰国峰会即将引爆绿色金融
大数据
用户Taobaoapi20147 小时前
京东商品列表API(JD.item_search)
大数据·数据挖掘·数据分析