RDD中的转换算子
map算子
对数字1-10进行乘除，*2
filter算子
对数字1-10进行过滤，过滤出偶数
filatMap算子
对单词进行拆分
reduceByKey算子
对具有相同键的所有值进行聚合操作 = 统计词频
词频统计简洁写法
Spark，RDD中的转换算子
猪猪果泡酒2025-05-14 8:25
相关推荐
字节跳动数据平台7 小时前
代码量减少 70%、GPU 利用率达 95%：火山引擎多模态数据湖如何释放模思智能的算法生产力得物技术9 小时前
深入剖析Spark UI界面：参数与界面详解|得物技术武子康10 小时前
大数据-238 离线数仓 - 广告业务 Hive分析实战：ADS 点击率、购买率与 Top100 排名避坑武子康1 天前
大数据-237 离线数仓 - Hive 广告业务实战：ODS→DWD 事件解析、广告明细与转化分析落地大大大大晴天1 天前
Flink生产问题排障-Kryo serializer scala extensions are not available武子康3 天前
大数据-236 离线数仓 - 会员指标验证、DataX 导出与广告业务 ODS/DWD/ADS 全流程肌肉娃子4 天前
20260227.spark.Spark 性能刺客：千万别在 for 循环里写 withColumn初次攀爬者4 天前
ZooKeeper 实现分布式锁的两种方式武子康4 天前
大数据-235 离线数仓 - 实战：Flume+HDFS+Hive 搭建 ODS/DWD/DWS/ADS 会员分析链路DianSan_ERP5 天前
电商API接口全链路监控：构建坚不可摧的线上运维防线