如何在sheel中运行Spark

启动hdfs集群,打开hadoop100:9870,在wcinput目录下上传一个包含很多个单词的文本文件。

启动之后在spark-shell中写代码。


// 读取文件,得到RDD

val rdd1 = sc.textFile("hdfs://hadoop100:8020/wcinput/words.txt")

// 将单词进行切割,得到一个存储全部单词的RDD

val rdd2= fileRDD.flatMap(line => line.split(" "))

// 将单词转换为元组对象,key是单词,value是数字1

val rdd3= wordsRDD.map(word => (word, 1))

// 将元组的value按照key来分组,对所有的value执行聚合操作(相加)

val rdd4= wordsWithOneRDD.reduceByKey((a, b) => a + b)

// 收集RDD的数据并打印输出结果

rdd4.collect().foreach(println)

相关推荐
predisw4 小时前
kafka records deletion policy
分布式·kafka
夏天吃哈密瓜4 小时前
Spark-core-RDD入门
大数据·分布式·spark
肥宅小叽5 小时前
【shardingsphere分布式主键无效】
分布式
科技小E6 小时前
国标GB28181视频平台EasyCVR安防系统部署知识:如何解决异地监控集中管理和组网问题
大数据·网络·人工智能·音视频
chat2tomorrow6 小时前
如何使用 QuickAPI 推动医院数据共享 —— 基于数据仓库场景的实践
大数据·数据仓库·人工智能·医院·sql2api
lcw_lance6 小时前
数字孪生[IOC]常用10个技术栈(总括)
大数据·运维·人工智能
星宸追风7 小时前
Git查看某个commit的改动
大数据·elasticsearch·搜索引擎
悻运8 小时前
Spark缓存--persist方法
大数据·缓存·spark
caihuayuan58 小时前
[数据库之十四] 数据库索引之位图索引
java·大数据·spring boot·后端·课程设计