转换算子
value类型
| 算子名称 | 作用 |
|---|---|
| Map映射 | a->b |
| flatMap扁平化 | \[a,b,c,d] -> a,b,c,d ，二维变一维 |
| groupBy分组 | 1,2,3,4 ->\[1,3,2,4 ]，一维变二维 |
| filter过滤 | 1,2,3,4 -> 2,4 符合条件进入，不符合去掉 |
| distinct去重 | 1,1,2,2 -> 1,2 去重过程中存在shuffle |
| sortBy排序 | 1,3，2 -> 1,2,3 排序 |
使用localhost:4040可以查看IDEA代码中算子的执行情况，可以使用Thread.sleep(10000)来睡眠一会，保证可以打开该网页。
key-value类型
| 算子名称 | 作用 |
|---|---|
| mapValues | 对value进行映射 |
| groupByKey | 对数据进行汇总，可以设置分区数量或分区器 |
| reduceByKey | 对数据进行汇总计算，底层会打散重分区，增加了预聚合 |
| sortByKey | 对Key进行排序，底层是Range分区 |
| reduceByKey不能用于减法和除法运算，只能用于加法和乘法计算。 |
两种分区
- Hash分区：极端情况有可能导致数据倾斜，适合用于聚合。
- Range分区：尽量保证每个分区中数据量均匀，适合用于排序。使用Range分区器的算子有groupByKey, sortBy, cogroup.