filter转换操作,顾名思义是对数据流执行一个过滤,通过一个布尔条件表达式设置过滤条件,对于每一个流内元素进行判断,若为true则元素正常输出,若为false则元素被过滤掉。
进行filter转换之后的新数据流的数据类型与原数据流是相同的。filter转换需要传入的参数需要实现FilterFunction接口,而FilterFunction内要实现filter()方法,就相当于一个返回布尔类型的条件表达式。
****案例需求:****下面的代码会将数据流中传感器id为sensor_1的数据过滤出来。
java
import com.atguigu.bean.WaterSensor;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;
public class Flatapdeam {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
DataStreamSource<WaterSensor> senseDS = env.fromElements(new WaterSensor("s1", 1l, 1)
, new WaterSensor("s1", 2l, 2),
new WaterSensor("s2", 3l, 3)
);
SingleOutputStreamOperator<String> flatMap = senseDS.flatMap(new FlatMapFunction<WaterSensor, String>() {
@Override
public void flatMap(WaterSensor waterSensor, Collector<String> collector) throws Exception {
if ("s1".equals(waterSensor.getId())) {
collector.collect(waterSensor.getVc() + "");
} else if ("s2".equals(waterSensor.getId())) {
collector.collect(waterSensor.getTs().toString());
collector.collect(waterSensor.getVc().toString());
}
}
});
flatMap.print();
env.execute();
}
}
可以看出我们代码的前几个步骤是相同的是首先获取执行环境,创建源算子,不同的是使用不同的转换算子,我们这篇文章主要是介绍filter算子也就是过滤算子,通过一个布尔条件表达式设置过滤条件,对于每一个流内元素进行判断,若为true则元素正常输出,若为false则元素被过滤掉
详细来看,我们是对数据进行了一个筛选:
java
SingleOutputStreamOperator<String> flatMap = senseDS.flatMap(new FlatMapFunction<WaterSensor, String>() {
@Override
public void flatMap(WaterSensor waterSensor, Collector<String> collector) throws Exception {
if ("s1".equals(waterSensor.getId())) {
collector.collect(waterSensor.getVc() + "");
} else if ("s2".equals(waterSensor.getId())) {
collector.collect(waterSensor.getTs().toString());
collector.collect(waterSensor.getVc().toString());
}
}
});
实现FilterFunction接口,而FilterFunction内要实现filter()方法,就相当于一个返回布尔类型的条件表达式。
对进来的数据获取其Id 通过与给定的标准进行对比,进行过滤