Spark,在shell中运行RDD程序

在hdfs中/wcinput中创建一个文件:word2.txt在里面写几个单词

启动hdfs集群

root@hadoop100 \~\]# myhadoop start \[root@hadoop100 \~\]# cd /opt/module/spark-yarn/bin \[root@hadoop100 \~\]# ./spark-shell 写个1+1测试一下 按住ctrl+D退出 进入环境:spark-shell --master yarn 逐个写代码: // 读取文件,得到RDD val rdd1 = sc.textFile("hdfs://hadoop100:8020/wcinput/word2.txt") // 将单词进行切割,得到一个存储全部单词的RDD val rdd2= rdd1.flatMap(line =\> line.split(" ")) // 将单词转换为元组对象,key是单词,value是数字1 val rdd3= rdd2.map(word =\> (word, 1)) // 将元组的value按照key来分组,对所有的value执行聚合操作(相加) val rdd4= rdd3.reduceByKey((num1, num2) =\> num1 + num2) // 收集RDD的数据并打印输出结果 rdd4.collect().foreach(println) // 将结果储存在out111中 rdd.saveAsTextFile("hdfs://hadoop100:8020/out111")在根目录下可见out111文件,文件打开后可以看到,word2.txt文件内单词被拆分RDD的执行过程 ------------------------------------------------ 版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 原文链接:https://blog.csdn.net/2401_87076452/article/details/147888293

相关推荐
前端小巷子12 分钟前
Web开发中的文件上传
前端·javascript·面试
上单带刀不带妹1 小时前
手写 Vue 中虚拟 DOM 到真实 DOM 的完整过程
开发语言·前端·javascript·vue.js·前端框架
前端风云志1 小时前
typescript结构化类型应用两例
javascript
gnip2 小时前
总结一期正则表达式
javascript·正则表达式
爱分享的程序员2 小时前
前端面试专栏-算法篇:18. 查找算法(二分查找、哈希查找)
前端·javascript·node.js
翻滚吧键盘2 小时前
vue 条件渲染(v-if v-else-if v-else v-show)
前端·javascript·vue.js
你这个年龄怎么睡得着的3 小时前
为什么 JavaScript 中 'str' 不是对象,却能调用方法?
前端·javascript·面试
南屿im3 小时前
JavaScript 手写实现防抖与节流:优化高频事件处理的利器
前端·javascript
小新学习屋3 小时前
Spark从入门到熟悉(篇三)
大数据·分布式·spark
西陵3 小时前
Nx带来极致的前端开发体验——借助CDD&TDD开发提效
前端·javascript·架构