flink分别使用FilterMap和ProcessFunction实现去重逻辑

背景

在日常的工作中,对数据去重是一件很常见的操作,比如我们只需要保留重复记录的第一条,而忽略掉后续重复的记录,达到去重的效果,本文就使用flink的FilterMap和ProcessFunction来实现去重逻辑

FilterMap和ProcessFunction去重实现

filterMap实现去重

java 复制代码
public class DuplicateRichFlatMap extends RichFlatMapFunction<WikipediaEditEvent, WikipediaEditEvent> {

    ValueState<Boolean> duplicateInput;

    @Override
    public void open(Configuration parameters) throws Exception {
        duplicateInput = getRuntimeContext().getState(new ValueStateDescriptor<Boolean>("duplicate", Types.BOOLEAN));
    }

    @Override
    public void flatMap(WikipediaEditEvent in, Collector<WikipediaEditEvent> collector) throws Exception {
        if (duplicateInput.value() == null) {
            collector.collect(in);
            duplicateInput.update(true);
        }
    }

}

这里实现的关键就是有一个key-value的flink状态

ProcessFunction去重

java 复制代码
public class DupliacateProcessFunction extends KeyedProcessFunction<String, WikipediaEditEvent, WikipediaEditEvent> {


    ValueState<Boolean> duplicateInput;

    @Override
    public void open(Configuration parameters) throws Exception {
        ValueStateDescriptor stateDescriptor = new ValueStateDescriptor<Boolean>("previousInput", Types.BOOLEAN);
        // 状态ttl超时时间设置
        StateTtlConfig ttlConfig =
                StateTtlConfig.newBuilder(Time.days(1)).setUpdateType(StateTtlConfig.UpdateType.OnCreateAndWrite)
                        .setStateVisibility(StateTtlConfig.StateVisibility.NeverReturnExpired)
                        // check 10 keys for every state access
                        .cleanupIncrementally(100, false).build();
        stateDescriptor.enableTimeToLive(ttlConfig);
        duplicateInput = getRuntimeContext().getState(stateDescriptor);
    }

    @Override
    public void processElement(WikipediaEditEvent in, Context context, Collector<WikipediaEditEvent> collector)
            throws Exception {
        if (duplicateInput.value() == null) {
            collector.collect(in);
            duplicateInput.update(true);
        }
    }
}

这里的关键代码也是拥有一个key-value的状态

触发计算的job代码如下

java 复制代码
public class DuplicateJob {

    public static void main(String[] args) throws Exception {

        StreamExecutionEnvironment see = StreamExecutionEnvironment.getExecutionEnvironment();
        see.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime);

        DataStream<WikipediaEditEvent> edits = see.addSource(new RandomStringSource());

        KeyedStream<WikipediaEditEvent, String> keyedEdits = edits.keyBy(new KeySelector<WikipediaEditEvent, String>() {
            @Override
            public String getKey(WikipediaEditEvent event) {
                return event.getUser();
            }
        });

        // 通过RichFlatMap实现去重
        DataStream<WikipediaEditEvent> result = keyedEdits.flatMap(new DuplicateRichFlatMap());
        // 通过ProcessFunction实现去重
//        DataStream<WikipediaEditEvent> result = keyedEdits.process(new DupliacateProcessFunction());

        result.print();
        see.execute();

    }
}
相关推荐
计算机编程-吉哥25 分钟前
大数据毕业设计-基于大数据的高考志愿填报推荐系统(高分计算机毕业设计选题·定制开发·真正大数据)
大数据·毕业设计·计算机毕业设计选题·机器学习毕业设计·大数据毕业设计·大数据毕业设计选题推荐·大数据毕设项目
武子康1 小时前
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例
大数据·后端·spark
极造数字2 小时前
MES系统在不同制造行业中的应用差异与共性
大数据·人工智能·物联网·信息可视化·制造
时序数据说2 小时前
物联网时序数据库IoTDB是什么?
大数据·数据库·物联网·时序数据库·iotdb
时序数据说2 小时前
时序数据库:定义与基本特点
大数据·数据库·物联网·时序数据库
Agatha方艺璇3 小时前
CentOS7 Hive2.3.8 安装图文教程
大数据·数据库
云手机掌柜3 小时前
下一代社媒运营工具:亚矩阵云手机集成AIGC与数字人技术引领内容革命
大数据·线性代数·智能手机·矩阵·aigc
上海锝秉工控4 小时前
超声波风向传感器:以科技之翼,捕捉风的每一次呼吸
大数据·人工智能·科技
在未来等你7 小时前
Elasticsearch面试精讲 Day 13:索引生命周期管理ILM
大数据·分布式·elasticsearch·搜索引擎·面试
Elastic 中国社区官方博客9 小时前
Elasticsearch:智能搜索的 MCP
大数据·人工智能·elasticsearch·搜索引擎·全文检索