Flink转换算子

Apache Flink 是一个用于处理无界和有界数据的开源流处理框架。在 Flink 中,转换(Transformation)是数据流处理的核心组件之一,它们定义了如何从输入数据集生成输出数据集。以下是 Flink 中一些常见的转换算子:

  1. Map : 将每个元素转换为另一个元素。通常用于一对一的数据转换。

    java 复制代码
    DataStream<Integer> input = ...;
    DataStream<Integer> result = input.map(new MapFunction<Integer, Integer>() {
        @Override
        public Integer map(Integer value) throws Exception {
            return value * 2;
        }
    });
  2. FlatMap : 类似于 Map,但是可以产生多个输出元素。

    java 复制代码
    DataStream<String> input = ...;
    DataStream<String> result = input.flatMap(new FlatMapFunction<String, String>() {
        @Override
        public void flatMap(String value, Collector<String> out) throws Exception {
            for (String word : value.split(" ")) {
                out.collect(word);
            }
        }
    });
  3. Filter: 过滤掉不符合条件的元素。

    java 复制代码
    DataStream<Integer> input = ...;
    DataStream<Integer> result = input.filter(new FilterFunction<Integer>() {
        @Override
        public boolean filter(Integer value) throws Exception {
            return value > 5;
        }
    });
  4. KeyBy : 对数据流进行分组,以便后续操作(如窗口操作)能够按特定键处理数据。

    复制代码
    DataStream<Tuple2<String, Integer>> input = ...;
    KeyedStream<Tuple2<String, Integer>, String> keyed = input.keyBy(0);
  5. Reduce : 在每个分组内聚合元素,可以是滚动聚合或窗口内的聚合。

    java 复制代码
    DataStream<Integer> input = ...;
    DataStream<Integer> result = input.reduce(new ReduceFunction<Integer>() {
        @Override
        public Integer reduce(Integer value1, Integer value2) throws Exception {
            return value1 + value2;
        }
    });
  6. Window: 定义窗口以对无界流中的数据进行分批处理。

    java 复制代码
    DataStream<Integer> input = ...;
    DataStream<Integer> result = input
        .keyBy((key) -> key)
        .timeWindow(Time.seconds(5))
        .reduce(new ReduceFunction<Integer>() {
            @Override
            public Integer reduce(Integer value1, Integer value2) throws Exception {
                return value1 + value2;
            }
        });
  7. Union: 合并两个或更多数据流。

    java 复制代码
    DataStream<Integer> stream1 = ...;
    DataStream<Integer> stream2 = ...;
    DataStream<Integer> result = stream1.union(stream2);
  8. Connect: 连接两个不同类型的流,但不会将它们合并成一个流。

    java 复制代码
    DataStream<Integer> stream1 = ...;
    DataStream<String> stream2 = ...;
    ConnectedStreams<Integer, String> connectedStreams = stream1.connect(stream2);
  9. Broadcast: 广播一个数据流到所有任务实例中。

    java 复制代码
    DataStream<Integer> input = ...;
    BroadcastStream<Integer> broadcastStream = input.broadcast();

这些只是 Flink 提供的一些基本转换算子。Flink 还支持更复杂的转换,例如通过 ProcessFunction 实现自定义逻辑,以及与其他外部系统的集成等高级特性。


  1. Map

    • 作用:将每个元素转换为另一个元素。
    • 示例:将每个整数乘以2。
    • 输入1, 2, 3, 4, 5
    • 输出2, 4, 6, 8, 10
  2. FlatMap

    • 作用:将每个元素转换为零个、一个或多个元素。
    • 示例:将每个字符串拆分成单词。
    • 输入"hello world", "flink is great"
    • 输出"hello", "world", "flink", "is", "great"
  3. Filter

    • 作用:过滤掉不符合条件的元素。
    • 示例:过滤出大于5的整数。
    • 输入1, 2, 3, 4, 5, 6, 7, 8, 9, 10
    • 输出6, 7, 8, 9, 10
  4. KeyBy

    • 作用:根据指定的键对数据流进行分组,以便后续操作(如窗口操作)能够按特定键处理数据。
    • 示例 :按元组的第一个元素分组。
    • 输入(a, 1), (b, 2), (a, 3), (b, 4)
    • 输出:分组后的数据流,按第一个元素分组。
  5. Reduce

    • 作用:在每个分组内聚合元素,可以是滚动聚合或窗口内的聚合。
    • 示例 :在每个分组内将整数相加。
    • 输入(a, 1), (b, 2), (a, 3), (b, 4)
    • 输出(a, 4), (b, 6)
  6. Window

    • 作用:定义窗口以对无界流中的数据进行分批处理。
    • 示例:定义一个5秒的时间窗口,在每个窗口内将整数相加。
    • 输入 :1, 2, 3, 4, 5, 6, 7, 8, 9, 10
    • 输出 :窗口内的聚合结果,例如 15, 25, 35, ...
  7. Union

    • 作用:合并两个或更多数据流。
    • 示例:合并两个包含整数的数据流。
    • 输入stream1: 1, 2, 3, stream2: 4, 5, 6
    • 输出1, 2, 3, 4, 5, 6
  8. Connect

    • 作用:连接两个不同类型的流,但不会将它们合并成一个流。
    • 示例:连接一个整数流和一个字符串流。
    • 输入stream1: 1, 2, 3, stream2: "a", "b", "c"
    • 输出ConnectedStreams<Integer, String>
  9. Broadcast

    • 作用:广播一个数据流到所有任务实例中。
    • 示例:广播一个包含配置参数的数据流。
    • 输入1, 2, 3
    • 输出 :每个任务实例都收到 1, 2, 3
相关推荐
bxlj_jcj20 小时前
深入Flink核心概念:解锁大数据流处理的奥秘
大数据·flink
Edingbrugh.南空20 小时前
Flink SQLServer CDC 环境配置与验证
数据库·sqlserver·flink
Edingbrugh.南空1 天前
Flink OceanBase CDC 环境配置与验证
大数据·flink·oceanbase
Edingbrugh.南空1 天前
Flink Postgres CDC 环境配置与验证
大数据·flink
lifallen2 天前
Paimon vs. HBase:全链路开销对比
java·大数据·数据结构·数据库·算法·flink·hbase
expect7g12 天前
新时代多流Join的一个思路----Partial Update
后端·flink
expect7g12 天前
Paimon也有聚合表了?
后端·flink
Edingbrugh.南空12 天前
Flink维表应用:从思考到实践的全面解析
大数据·数据库·flink
expect7g12 天前
反压机制Credit --- 待更新
后端·flink
程序员瓜叔12 天前
实时反欺诈:基于 Spring Boot 与 Flink 构建信用卡风控系统
spring boot·后端·flink·风控