Flink之Watermark策略代码模板

方式 作用
WatermarkStrategy.noWatermarks() 不生成watermark
WatermarkStrategy.forMonotonousTimestamps() 紧跟最大事件时间watermark生成策略
WatermarkStrategy.forBoundedOutOfOrderness() 允许乱序watermark生成策略
WatermarkStrategy.forGenerator() 自定义watermark生成策略
  • noWatermarks

    java 复制代码
    public class FlinkWaterMark throws Exception {
      public static void main(String[] args) throws Exception {
          StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
          // 获取数据源
          DataStreamSource<String> socketSource = env.socketTextStream("localhost", 8888);
          // 构造watermark生成策略,选择不生成watermark
          WatermarkStrategy<UserEvent2> watermark = WatermarkStrategy.noWatermarks();
          // 将构造完成的watermark分配给数据流
          SingleOutputStreamOperator<UserEvent2> source = socketSource.assignTimestampsAndWatermarks(watermark);
          // ...
          env.execute();
      }
    }

    关于noWaterMarks()的使用没有太多内容.

  • forMonotonousTimestamps

    java 复制代码
    public class FlinkWaterMark throws Exception {
      public static void main(String[] args) throws Exception {
          StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
          // 获取数据源
          DataStreamSource<String> socketSource = env.socketTextStream("localhost", 8888);
          // 构造watermark, 使用紧跟最大事件时间策略
          WatermarkStrategy<String> watermark = WatermarkStrategy.<String>forMonotonousTimestamps()
                  // 抽取时间时间, 根据数据中实际情况选择
                  .withTimestampAssigner(new SerializableTimestampAssigner<String>() {
                      @Override
                      public long extractTimestamp(String element, long recordTimestamp) {
                          /**
                           * 这里是样例代码,实际情况根据具体业务具体数据特性抽取对应的时间
                           **/
                          String time = element.split(",")[0];
                          long timestamp = Long.parseLong(time);
                          return timestamp;
                      }
                  });
          // 将构造完成的watermark分配给数据流
          SingleOutputStreamOperator<UserEvent2> source = socketSource.assignTimestampsAndWatermarks(watermark);
          // ...
          env.execute();
      }
    }

    对于forMonotonousTimestamps()可说内容并不多,如果选择了forMonotonousTimestamps这种方式就必须保证事件时间严格有序,如果出现乱序的情况可能存在大量数据丢失的问题.
    通过源码内容可以看到forMonotonousTimestamps底层也是使用的forBoundedOutOfOrderness方式,只不过将容错时间设置为了0,源码如下:

    java 复制代码
    // 首先看这里,继承的BoundedOutOfOrdernessWatermarks
    public class AscendingTimestampsWatermarks<T> extends BoundedOutOfOrdernessWatermarks<T> {
    
      /** Creates a new watermark generator with for ascending timestamps. */
      public AscendingTimestampsWatermarks() {
          super(Duration.ofMillis(0)); // 这里将容错时间设置为了0
      }
    }
  • forBoundedOutOfOrderness

    java 复制代码
    public class FlinkWaterMark throws Exception {
      public static void main(String[] args) throws Exception {
          StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
          // 获取数据源
          DataStreamSource<String> socketSource = env.socketTextStream("localhost", 8888);
          // 构造watermark, 使用允许水位线乱序策略,并设置最大容错时间为2s
          WatermarkStrategy<String> watermark = WatermarkStrategy.forBoundedOutOfOrderness(Duration.ofMillis(2000))
                  // 抽取时间时间, 根据数据中实际情况选择
                  .withTimestampAssigner(new SerializableTimestampAssigner<String>() {
                      @Override
                      public long extractTimestamp(String element, long recordTimestamp) {
                          /**
                           * 这里是样例代码,实际情况根据具体业务具体数据特性抽取对应的时间
                           **/
                          String time = element.split(",")[0];
                          long timestamp = Long.parseLong(time);
                          return timestamp;
                      }
                  });
          // 将构造完成的watermark分配给数据流
          SingleOutputStreamOperator<UserEvent2> source = socketSource.assignTimestampsAndWatermarks(watermark);
          // ...
          env.execute();
      }
    }

    对于允许乱序策略前面文章有介绍过其原理,比如代码中设置容错时间为2S,那么前后的数据差最大只能是2S,如果差值大于2S,后来的这条数据就会被抛弃.

相关推荐
你觉得2059 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
啊喜拔牙9 小时前
1. hadoop 集群的常用命令
java·大数据·开发语言·python·scala
别惊鹊9 小时前
MapReduce工作原理
大数据·mapreduce
8K超高清10 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
2401_8712905811 小时前
MapReduce 的工作原理
大数据·mapreduce
SelectDB技术团队12 小时前
Apache Doris 2025 Roadmap:构建 GenAI 时代实时高效统一的数据底座
大数据·数据库·数据仓库·人工智能·ai·数据分析·湖仓一体
你觉得20512 小时前
浙江大学朱霖潮研究员:《人工智能重塑科学与工程研究》以蛋白质结构预测为例|附PPT下载方法
大数据·人工智能·机器学习·ai·云计算·aigc·powerpoint
益莱储中国13 小时前
世界通信大会、嵌入式展及慕尼黑上海光博会亮点回顾
大数据
Loving_enjoy13 小时前
基于Hadoop的明星社交媒体影响力数据挖掘平台:设计与实现
大数据·hadoop·数据挖掘
浮尘笔记13 小时前
go-zero使用elasticsearch踩坑记:时间存储和展示问题
大数据·elasticsearch·golang·go