Flink转换算子——filter

filter转换操作,顾名思义是对数据流执行一个过滤,通过一个布尔条件表达式设置过滤条件,对于每一个流内元素进行判断,若为true则元素正常输出,若为false则元素被过滤掉。

进行filter转换之后的新数据流的数据类型与原数据流是相同的。filter转换需要传入的参数需要实现FilterFunction接口,而FilterFunction内要实现filter()方法,就相当于一个返回布尔类型的条件表达式。

****案例需求:****下面的代码会将数据流中传感器id为sensor_1的数据过滤出来。

java 复制代码
import com.atguigu.bean.WaterSensor;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class Flatapdeam {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        DataStreamSource<WaterSensor> senseDS = env.fromElements(new WaterSensor("s1", 1l, 1)
                , new WaterSensor("s1", 2l, 2),
                new WaterSensor("s2", 3l, 3)
        );

        SingleOutputStreamOperator<String> flatMap = senseDS.flatMap(new FlatMapFunction<WaterSensor, String>() {
            @Override
            public void flatMap(WaterSensor waterSensor, Collector<String> collector) throws Exception {
                if ("s1".equals(waterSensor.getId())) {
                    collector.collect(waterSensor.getVc() + "");
                } else if ("s2".equals(waterSensor.getId())) {
                    collector.collect(waterSensor.getTs().toString());
                    collector.collect(waterSensor.getVc().toString());

                }
            }


        });
            flatMap.print();

        env.execute();
    }
}

可以看出我们代码的前几个步骤是相同的是首先获取执行环境,创建源算子,不同的是使用不同的转换算子,我们这篇文章主要是介绍filter算子也就是过滤算子,通过一个布尔条件表达式设置过滤条件,对于每一个流内元素进行判断,若为true则元素正常输出,若为false则元素被过滤掉

详细来看,我们是对数据进行了一个筛选:

java 复制代码
 SingleOutputStreamOperator<String> flatMap = senseDS.flatMap(new FlatMapFunction<WaterSensor, String>() {
            @Override
            public void flatMap(WaterSensor waterSensor, Collector<String> collector) throws Exception {
                if ("s1".equals(waterSensor.getId())) {
                    collector.collect(waterSensor.getVc() + "");
                } else if ("s2".equals(waterSensor.getId())) {
                    collector.collect(waterSensor.getTs().toString());
                    collector.collect(waterSensor.getVc().toString());

                }
            }


        });

实现FilterFunction接口,而FilterFunction内要实现filter()方法,就相当于一个返回布尔类型的条件表达式。

对进来的数据获取其Id 通过与给定的标准进行对比,进行过滤

相关推荐
無a伟17 分钟前
RabbitMq高级特性:TTL,死信队列,延迟队列
java·分布式·rabbitmq
haon112220 分钟前
树模型在信贷风控怎么用——从决策树到 XGBoost
大数据·人工智能·算法·决策树·机器学习·数据挖掘
长谷深风11127 分钟前
Agent 跑了 30 分钟宕机,如何从断点继续?
java·大数据·人工智能·ai·大模型·memory·aiagent
慧都小妮子27 分钟前
DevExpress Java 文档处理 API 免费 CTP:PDF、PowerPoint、条码与跨平台部署
java·pdf·powerpoint·devexpress·文档处理·条码生成
泡海椒30 分钟前
告别反射低效:JQuick-Java ASM动态调用链性能优化实战
java·python·性能优化
TDengine (老段)36 分钟前
TDgpt 使用 — 部署、SQL、算法
大数据·数据库·sql·算法·时序数据库·tdengine·涛思数据
starzy199036 分钟前
Flink基础之Transformation API详解及代码实现:从map到connect
大数据·flink
土司大王40 分钟前
LeetCode 17 电话号码的字母组合:Java 回溯模板、多叉决策树与复杂度分析
java·leetcode·决策树
字节跳动数据平台1 小时前
PDF 文档解析算子全新升级!不仅“读得懂”,更让解析结果直接可用
大数据
爱吃火鸡面呀1 小时前
HDFS 文件读取流程深度解析:从客户端请求到数据落地的完整链路
大数据·hadoop·hdfs