【大数据面试题】005 谈一谈 Flink Watermark 水印

一步一个脚印,一天一道面试题。

感觉我现在很难把水印描述的很好,但,完成比完美更重要。后续我再补充。各位如果有什么建议或补充也欢迎留言。

在实时处理任务时,由于网络延迟,人工异常,各种问题,数据往往会出现乱序,不按照我们的预期到达处理框架。

WaterMark 水印,就是为了一定程度的解决数据,延迟乱序问题的。

使用 WaterMark 一般有以下几个步骤:

  • 定义时间特性
    (Flink 1.12 已废弃,默认使用 事件时间)
    env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
  • 设置 Watermark 策略,赋值事件时间
java 复制代码
        // 分配时间戳和水位线
        DataStream<Tuple2<Long, Integer>> withTimestampsAndWatermarks = parsedStream
                .assignTimestampsAndWatermarks(WatermarkStrategy
                        .<Tuple2<Long, Integer>>forBoundedOutOfOrderness(Duration.ofSeconds(5))
                        .withTimestampAssigner((element, recordTimestamp) -> element.f0));

话不多说,直接给个 Watermark 水印样例代码。

java 复制代码
public class SimpleWatermarkExample {
    public static void main(String[] args) throws Exception {
        // 设置流执行环境
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 从 socket 文本流接收数据
        DataStream<String> input = env.addSource(new SocketTextStreamFunction("localhost", 9999, "\n", -1));

        // 解析输入的数据
        DataStream<Tuple2<Long, Integer>> parsedStream = input
                .map(new MapFunction<String, Tuple2<Long, Integer>>() {
                    @Override
                    public Tuple2<Long, Integer> map(String value) throws Exception {
                        String[] parts = value.split(",");
                        return new Tuple2<>(Long.parseLong(parts[0]), Integer.parseInt(parts[1]));
                    }
                });

        // 分配时间戳和水位线
        DataStream<Tuple2<Long, Integer>> withTimestampsAndWatermarks = parsedStream
                .assignTimestampsAndWatermarks(WatermarkStrategy
                        .<Tuple2<Long, Integer>>forBoundedOutOfOrderness(Duration.ofSeconds(5))
                        .withTimestampAssigner((element, recordTimestamp) -> element.f0));

        // 使用窗口函数统计每10秒内的最大值
        DataStream<String> maxValues = withTimestampsAndWatermarks
                .windowAll(TumblingEventTimeWindows.of(Time.seconds(10)))
                .apply(new WindowFunction<Tuple2<Long, Integer>, String, TimeWindow>() {
                    @Override
                    public void apply(TimeWindow window, Iterable<Tuple2<Long, Integer>> values, Collector<String> out) throws Exception {
                        int maxValue = Integer.MIN_VALUE;
                        for (Tuple2<Long, Integer> value : values) {
                            maxValue = Math.max(maxValue, value.f1);
                        }
                        out.collect("Window: " + window + " Max Value: " + maxValue);
                    }
                });

        // 打印结果
        maxValues.print();

        // 执行程序
        env.execute("Simple Flink Watermark Example");
    }
}
相关推荐
bxlj_jcj44 分钟前
深入Flink核心概念:解锁大数据流处理的奥秘
大数据·flink
云资源服务商1 小时前
阿里云Flink:开启大数据实时处理新时代
大数据·阿里云·云计算
Edingbrugh.南空1 小时前
Flink SQLServer CDC 环境配置与验证
数据库·sqlserver·flink
Aurora_NeAr2 小时前
Spark SQL架构及高级用法
大数据·后端·spark
王小王-1232 小时前
基于Hadoop的公共自行车数据分布式存储和计算平台的设计与实现
大数据·hive·hadoop·分布式·hadoop公共自行车·共享单车大数据分析·hadoop共享单车
数据与人工智能律师2 小时前
数字资产革命中的信任之锚:RWA法律架构的隐形密码
大数据·网络·人工智能·云计算·区块链
Edingbrugh.南空3 小时前
Flink OceanBase CDC 环境配置与验证
大数据·flink·oceanbase
全星0073 小时前
解锁研发高效密码:全星研发项目管理APQP软件的多维助力
大数据·汽车
时序数据说5 小时前
为什么时序数据库IoTDB选择Java作为开发语言
java·大数据·开发语言·数据库·物联网·时序数据库·iotdb
Codebee5 小时前
OneCode图表配置速查手册
大数据·前端·数据可视化