Flink的转换算子——map

map是大家非常熟悉的大数据操作算子,主要用于将数据流中的数据进行转换,形成新的数据流。简单来说,就是一个"一一映射",消费一个元素就产出一个元素。

我们只需要基于DataStream调用map()方法就可以进行转换处理。方法需要传入的参数是接口MapFunction的实现;返回值类型还是DataStream,不过泛型(流中的元素类型)可能改变。

下面的代码,实现了提取WaterSensor中的id字段的功能。

java 复制代码
import com.atguigu.bean.WaterSensor;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.datastream.DataStreamSink;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class Mapdeam {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        DataStreamSource<WaterSensor> senseDS = env.fromElements(new WaterSensor("s1", 1l, 1)
                , new WaterSensor("s1", 2l, 2),
                new WaterSensor("s1", 3l, 3)
        );




        SingleOutputStreamOperator<String> map = senseDS.map(sense -> sense.getId());
        map.print();

        env.execute();
    }
}

map是一个一对一的算子,也就是说输入一个数据那经过map算子之后也只会输出一个数据

根据代码中

java 复制代码
SingleOutputStreamOperator<String> map = senseDS.map(sense -> sense.getId());

可知 是将senseDS的数据经过(sense -> sense.getid())的表达式进行的输出

也可以使用匿名类的方法实现如下:

java 复制代码
 senseDS.map(new MapFunction<WaterSensor, String>() {
            @Override
            public String map(WaterSensor waterSensor) throws Exception {
                return waterSensor.getId();
            }
        }).print();

但是通过直观感受使用第一个方法代码比较简洁

请各位自行选择

谢谢

相关推荐
鲸渔5 小时前
【AI Agent系列课程13-Python 基础13】JSON 读写:结构化数据交换基础
开发语言·python·json·ai编程
starzy19905 小时前
Structured Streaming 案例剖析:一个 8 万 QPS 实时大屏的完整落地与三次线上事故复盘
大数据·spark
Highcharts.js10 小时前
Highcharts漏斗图表使用配置指南
java·开发语言·javascript·信息可视化·highcharts·漏斗图
大大大大晴天15 小时前
浅聊维度建模中的星型模型与雪花模型
大数据
ComPDFKit16 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
FRing0316 小时前
vue3干货总结2(vue3生命周期、父子通信、模版引用、provide和inject)
开发语言·前端·vue.js·vue3
VIP_CQCRE18 小时前
GPT Image 2.6 升级别直接全量:可回滚的迁移与回归测试方法
api·图像生成·灰度发布·回归测试·gpt image 2.6
琳少_18 小时前
java程序开发笔记
java·开发语言·数据库·笔记
七夜zippoe19 小时前
Agent 告警设计:分级告警、智能降噪与值班排班
开发语言·ai·agent·告警·智能降噪·值班排班
数字新视界20 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房