flink对于迟到数据的处理

Flink 对迟到数据的处理主要通过以下机制实现:

waterMark和Window机制解决了流式数据的乱序问题,对于因为延迟而顺序有误的数据,可以根据eventTime进行业务处理,对于延迟的数据Flink也有自己的解决办法,

主要的办法是给定一个允许延迟的时间,在该时间范围内仍可以接受处理延迟数据

设置允许延迟的时间是通过allowedLateness(lateness: Time)设置

保存延迟数据则是通过sideOutputLateData(outputTag: OutputTagT)保存

获取延迟数据是通过DataStream.getSideOutput(tag: OutputTagX)获取

1. 允许延迟(Allowed Lateness)

通过 allowedLateness 设置窗口关闭后的容忍时间。在此时间内到达的数据仍可触发窗口计算:

复制代码
windowedStream
    .allowedLateness(Duration.ofMinutes(5))
    .reduce(new MyReduceFunction());

2. 侧输出(Side Output)

超过容忍时间的数据可通过侧输出捕获:

复制代码
OutputTag<T> lateDataTag = new OutputTag<>("late-data");
WindowedStream<T> windowed = input
    .keyBy(...)
    .window(...)
    .allowedLateness(...)
    .sideOutputLateData(lateDataTag);

DataStream<T> lateStream = windowed.getSideOutput(lateDataTag);

3. 水位线(Watermark)机制

水位线标记事件时间进度,其生成策略(如 BoundedOutOfOrderness)直接影响延迟容忍度:

复制代码
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
env.getConfig().setAutoWatermarkInterval(1000);

DataStream<T> withTimestamps = input
    .assignTimestampsAndWatermarks(
        new BoundedOutOfOrdernessTimestampExtractor<T>(Duration.ofSeconds(10)) {
            @Override
            public long extractTimestamp(T element) {
                return element.getEventTime();
            }
        });

4. 窗口状态清理

窗口触发后状态默认保留至 allowedLateness 结束,需注意避免状态无限增长:

复制代码
windowedStream
    .trigger(new MyTrigger()) // 自定义触发器
    .evictor(new MyEvictor()); // 自定义清理器

处理流程示例

复制代码
1. 水位线推进至窗口结束时间
2. 窗口初次计算结果输出
3. 允许延迟期内新数据触发更新计算
4. 延迟期结束后:
   - 侧输出捕获迟到数据
   - 清除窗口状态

注意事项

  • 容忍时间过长可能导致状态存储压力
  • 侧输出数据需单独定义处理逻辑
  • 事件时间与处理时间需明确区分

通过组合水位线、允许延迟和侧输出机制,Flink 实现了对乱序数据的鲁棒性处理,保障计算结果的准确性。

相关推荐
凌晨三点说晚安1 小时前
理解 JavaScript 对象、原型与包装类
javascript
火山引擎和TA的超级拍档们1 小时前
产品情报局 11 | AI 数据湖 LAS:打造大模型时代多模态数据底座
前端·后端
JavaGuide2 小时前
Gemini 真的变强了,写代码做视频的能力接近 Claude Opus5.5 了!
前端·ai编程
凌晨三点说晚安2 小时前
理解 JavaScript 作用域链、return 与闭包
javascript
niceyayale2 小时前
WebRTC 延迟怎么调试:从 ICE 到 jitter buffer 的六个观测点
前端
aleimu2 小时前
Windows 11 右键打开 Cmder 2.0:从找不到菜单到默认使用 Cmder
前端·人工智能·后端
tryCbest2 小时前
Vue系列——第 20 篇:Vue Router 4——路由管理完全指南(上)
前端·javascript·vue.js
feixing_fx2 小时前
原始类型与引用类型:赋值时到底复制了什么
开发语言·前端·javascript·前端框架
一条破秋裤2 小时前
【1115】【多线程】【笔记】
前端·chrome·笔记
黑十2 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能