Flink实时开发添加水印的案例分析

在Flink中,处理时间序列数据时,通常需要考虑事件时间和水印(watermarks)的处理。以下是修改前后的代码对比分析:

修改前的代码:

复制代码
val systemDS = unitDS.map(dp => {
  dp.setDeviceCode(DeviceCodeEnum.fromPidToSystem(dp.getDeviceCode))
  dp
}).keyBy(_.getDeviceCode)
.window(TumblingEventTimeWindows.of(Time.seconds(60)))
.process(new MySystemWinF)
  1. unitDS 经过一个 map 操作,将每个元素的 deviceCode 转换为系统设备码。
  2. 使用 keyBy(_.getDeviceCode) 对转换后的设备码进行分组。
  3. 定义了一个基于事件时间的滚动窗口,窗口大小为60秒。
  4. 使用 process 操作应用自定义的窗口函数 HPageSystemWinF 来处理每个窗口中的数据。

注意:修改前的代码没有显示地处理水印(watermarks),这可能导致在处理乱序数据或延迟数据时出现问题。

修改后的代码:

复制代码
val systemDS = unitDS.map(dp => {
  dp.setDeviceCode(DeviceCodeEnum.fromPidToSystem(dp.getDeviceCode))
  dp
}).keyBy(_.getDeviceCode)
.assignTimestampsAndWatermarks(
  WatermarkStrategy
    .<boundedOutOfOrdernessDaysPower>forBoundedOutOfOrderness(Duration.ofSeconds(5)) // 假设这里应该是.forBoundedOutOfOrderness而不是.forBoundedOutOfOrdernessDaysPower
    .withIdleness(Duration.ofSeconds(5))
    .withTimestampAssigner(new SerializableTimestampAssigner[DaysPower] {
      override def extractTimestamp(element: DaysPower, recordTimestamp: Long): Long = {
        Math.max(element.getEventTime, recordTimestamp)
      }
    })
).keyBy(_.getDeviceCode)
.window(TumblingEventTimeWindows.of(Time.seconds(60)))
.process(new MySystemWinF)
  1. 与修改前相同的部分:map, keyBy, 和 window 操作。
  2. 添加了 assignTimestampsAndWatermarks 方法来处理事件时间和水印:
    • 使用 WatermarkStrategy.forBoundedOutOfOrderness 允许一定程度的乱序数据(这里是5秒)。
    • .withIdleness(Duration.ofSeconds(5)) 设置了空闲超时时间为5秒,用于处理不活跃的键。
    • 使用 withTimestampAssigner 自定义了时间戳分配器,确保使用的事件时间是元素中的 eventTime 和记录的 recordTimestamp 中的较大值。

不同点和适用场景:

  • 事件时间和水印处理:修改后的代码显式地处理了事件时间和水印,这对于处理乱序数据、延迟数据以及确保正确的时间窗口计算是非常重要的。如果您的数据流中存在乱序或延迟数据,或者您希望更严格地保证处理时间窗口的正确性,那么应该使用修改后的代码。
  • 空闲超时:通过设置空闲超时,可以处理那些长时间不活跃的键,避免因为某些键长时间没有新数据而导致整个程序挂起。
  • 延迟数据处理 :如果数据有可能晚到,但仍然需要被纳入正确的窗口进行计算,水印可以帮助界定数据的"迟到"界限。
    精确的时间窗口分析:对于需要基于事件实际发生时间而非数据处理时间进行分析的场景,如实时监控、金融交易分析等,事件时间模型是必须的。
相关推荐
API_technology1 小时前
高并发场景下的淘宝 API 开发实践:商品数据实时采集与性能优化
大数据·数据库·性能优化·数据挖掘
D愿你归来仍是少年1 小时前
Clickhouse 配置参考
大数据·clickhouse
刃神太酷啦1 小时前
栈和队列--数据结构初阶(2)(C/C++)
c语言·数据结构·c++·算法·leetcode
真的睡不醒ovo3 小时前
elasticsearch中文分词器插件下载教程
大数据·elasticsearch·中文分词
爱的叹息4 小时前
【java实现+4种变体完整例子】排序算法中【基数排序】的详细解析,包含基础实现、常见变体的完整代码示例,以及各变体的对比表格
java·算法·排序算法
写个博客5 小时前
代码随想录算法训练营第二十一天
算法
keep intensify6 小时前
杨氏矩阵、字符串旋转、交换奇偶位,offsetof宏
c语言·开发语言·数据结构·算法·矩阵
极小狐7 小时前
极狐GitLab 项目 API 的速率限制如何设置?
大数据·运维·git·elasticsearch·gitlab
IT成长日记7 小时前
【HDFS】HDFS数据迁移与备份全攻略:从日常备份到灾难恢复
大数据·hadoop·hdfs·数据迁移与备份
爱是小小的癌7 小时前
[第十六届蓝桥杯 JavaB 组] 真题 + 经验分享
经验分享·算法·蓝桥杯