技术栈

转换算子

lzhlizihang
7 个月前
spark·转换算子·rdd·rdd算子·触发算子
【RDD算子的分类】RDD的转换算子和触发算子(行为算子)、以及各个算子的作用,对比sql中的关键字都是lazy模式的,一般不会触发job的运行,算子返回值一定是RDD转换算子有哪些:filter、map、flatMap、union、distinct、groupByKey、reduceByKey、sortBy、sortByKey、repartition、coalesce、keys、values、mapValues、join fullOuterJoin leftOuterJoin rightOuterJoin、 mapPartitions
Stephen6Yang
1 年前
java·flink·map·转换算子·flatmap
Flink基本转换算子map/filter/flatmapmap是大家非常熟悉的大数据操作算子,主要用于将数据流中的数据进行转换,形成新的数据流。简单来说,就是一个“一一映射”,消费一个元素就产出一个元素。 我们只需要基于DataStream调用map()方法就可以进行转换处理。方法需要传入的参数是接口MapFunction的实现;返回值类型还是DataStream,不过泛型(流中的元素类型)可能改变。
ha_lydms
2 年前
大数据·sql·spark·转换算子·行动算子·rdd
Spark-Core核心算子在其它执行步骤完成后,生成新的RDD对象从集合中创建从文件中创建以分区为单位执行的map()扁平化(合并流)