客户反馈现象:
L.time between r.time - interval '1' minute and r.time + intervel '1' minute 实际上是2分钟匹配不上才下发
L.time between r.time - interval '1' minute and r.time 实际上是1分钟30秒匹配不上才下发
L.time between r.time and r.time + intervel'1' minute 实际上是立刻下发
L.time between r.time - interval '2' minute and r.time + intervel '2' minute 实际上是4分钟匹配不上才下发
排查后的结论:配置的上下界是[a,b],那结果为 1.5a + 0.5b 时间之后匹配不上才下发
源码分析:由三个属性进行控制 分别是 左流时间,右流时间、 根据左右流时间得到的minCleanUpInterval,为0.5a+0.5b
this.leftRelativeSize = -leftLowerBound; // 左流的时间 即a
this.rightRelativeSize = leftUpperBound; // 右流的时间 即b
this.minCleanUpInterval =(this.leftRelativeSize + this.rightRelativeSize) / 2L; // 最小的区间 为0.5a + 0.5b
this.allowedLateness = 0; // 默认为0
if (leftRow) {
// 若是左流,则为 rowTime + a + this.minCleanUpInterval + 0 + 1L , 即为 1.5a + 0.5b + 1L
cleanUpTime = rowTime + this.leftRelativeSize + this.minCleanUpInterval + this.allowedLateness + 1L;
this.registerTimer(ctx, cleanUpTime);
this.rightTimerState.update(cleanUpTime);
} else {
// 若是右流,则为 rowTime + b + this.minCleanUpInterval + 0 + 1L , 即为 1.5b+ 0.5a + 1L
cleanUpTime = rowTime + this.rightRelativeSize + this.minCleanUpInterval + this.allowedLateness + 1L;
this.registerTimer(ctx, cleanUpTime);
this.leftTimerState.update(cleanUpTime);
}
源码定位过程:
看到这个问题,立马能想到需要通过源码查找原因,flink join本质是对窗口的操作,窗口在flink底层是基于Timer定时器来实现的,只需在ctx.timerService().registerProcessingTimeTimer()方法处打断点进行debug,即可知道是从哪里进行注册,从而定位到上述的源码类:org.apache.flink.table.runtime.operators.join.interval.TimeIntervalJoin。
就这样,不到5分钟排查出了问题得到原因。