Flink SideOutput 数据分流处理

大数据学习之路

不积跬步,无以至千里。不积小流,无以成江海。------荀子

为什么要数据分流

通常数据流中包含多种类型数据,每种类型数据需要进行不同的分析。因此我们不得不对数据进行分流。

传统的方式我们可能需要对数据流进行多次遍历或者复制,本文学习Flink如何对数据流进行分流处理,这就是文章主角SideOutput

从一个简单例子讲起

下面代码例子,将原始的Integer 数据流 分流为奇数、偶数; 通过getSideOutput 得到两个数据流,一个只包含奇数的数据流,一个只包含偶数的数据流,然后对分流后的数据流进行打印。

  • 1.定义不同分流的OutputTag

    OutputTag<Integer> evenTag = new OutputTag<Integer>("even"){};
    OutputTag<Integer> oddTag = new OutputTag<Integer>("odd"){};

  • 2.根据不同的条件将数据输出到不同的 side output

    if(value % 2 == 0){
    ctx.output(evenTag,value);
    }else {
    ctx.output(oddTag,value);
    }

  • 3.使用 SingleOutputStreamOperator#getSideOutput(OutputTagsideOutputTag)方法获取对应的数据流

    SideOutputDataStream<Integer> evenStream = passThroughtStream.getSideOutput(evenTag);

    SideOutputDataStream<Integer> oddStream = passThroughtStream.getSideOutput(oddTag);

  • 4.对不同数据流进行处理 本案例只是简单的打印

    evenStream.print("Even Numbers: ");
    // 打印奇数流
    oddStream.print("Odd Numbers: ");

完整的代码

java 复制代码
 public static void main(String[] args) throws Exception {
        // 设置执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 创建一个简单的整数数据流
        DataStream<Integer> dataStream = env.fromElements(1, 2, 3, 4, 5, 6);

        OutputTag<Integer> evenTag = new OutputTag<Integer>("even"){};
        OutputTag<Integer> oddTag = new OutputTag<Integer>("odd"){};

        SingleOutputStreamOperator<Integer> passThroughtStream = dataStream.process(new ProcessFunction<Integer, Integer>() {
            @Override
            public void processElement(Integer value, ProcessFunction<Integer, Integer>.Context ctx, Collector<Integer> out) throws Exception {

                if(value % 2 == 0){
                    ctx.output(evenTag,value);
                }else {
                    ctx.output(oddTag,value);
                }

            }
        });


        SideOutputDataStream<Integer> evenStream = passThroughtStream.getSideOutput(evenTag);

        SideOutputDataStream<Integer> oddStream = passThroughtStream.getSideOutput(oddTag);
        // 打印偶数流
        evenStream.print("Even Numbers: ");
        // 打印奇数流
        oddStream.print("Odd Numbers: ");

        // 执行任务
        env.execute();
    }

总结

  • 分流处理

    对于一个复杂的数据流可能包含多种属性,我们需要对这个数据流进行多维度分析,因此我们可能需要根据数据的某些属性将其分流到不同的处理路径。

    例如,一个数字流我们可以按照 正数、负数、奇数、偶数、质数等进行分流处理。

    使用Side Output可以轻松实现这种分流,而无需多次复制数据流,从而提高处理效率。

  • 异常值捕获:实际的业务数据中通常包含一些不合法的数据(如空值、数据过大的异常值等)。使用Side Output可以将这些异常数据分流,然后对异常数据进行处理分析。

    前面文章中 Watermark对延迟数据处理,其中一种方式就是输出到Side Output 。

Flink 分流机制避免了多次复制数据流,从而减少系统的资源消耗,提高了处理效率。

相关推荐
lilye662 小时前
精益数据分析(17/126):精益画布与创业方向抉择
大数据·数据挖掘·数据分析
思通数科AI全行业智能NLP系统4 小时前
AI视频技术赋能幼儿园安全——教师离岗报警系统的智慧守护
大数据·人工智能·安全·目标检测·目标跟踪·自然语言处理·ocr
程序员沉梦听雨7 小时前
【Elasticsearch】入门篇
大数据·elasticsearch·搜索引擎
Gadus_7 小时前
Elasticsearch性能优化实践
大数据·elasticsearch·搜索引擎·性能优化
riveting8 小时前
SD2351核心板:重构AI视觉产业价值链的“超级节点”
大数据·linux·图像处理·人工智能·重构·智能硬件
欧先生^_^9 小时前
Spark 的一些典型应用场景及具体示例
大数据·分布式·spark
八股文领域大手子10 小时前
如何给GitHub项目提PR(踩坑记录
大数据·elasticsearch·github
爱吃龙利鱼10 小时前
elk中kibana一直处于可用和降级之间且es群集状态并没有问题的解决方法
大数据·elk·elasticsearch
腾讯云大数据10 小时前
腾讯云ES一站式RAG方案获信通院“开源大模型+软件创新应用”精选案例奖
大数据·elasticsearch·开源·云计算·腾讯云
苍煜10 小时前
Elasticsearch(ES)中的脚本(Script)
大数据·elasticsearch·搜索引擎