如何在sheel中运行Spark

启动hdfs集群,打开hadoop100:9870,在wcinput目录下上传一个包含很多个单词的文本文件。

启动之后在spark-shell中写代码。


// 读取文件,得到RDD

val rdd1 = sc.textFile("hdfs://hadoop100:8020/wcinput/words.txt")

// 将单词进行切割,得到一个存储全部单词的RDD

val rdd2= fileRDD.flatMap(line => line.split(" "))

// 将单词转换为元组对象,key是单词,value是数字1

val rdd3= wordsRDD.map(word => (word, 1))

// 将元组的value按照key来分组,对所有的value执行聚合操作(相加)

val rdd4= wordsWithOneRDD.reduceByKey((a, b) => a + b)

// 收集RDD的数据并打印输出结果

rdd4.collect().foreach(println)

相关推荐
亚川楼宇自控系统数据中心厂家4 小时前
事故风机监控:守护机房电池间等特殊区域的安全底线
大数据·安全
科技看点说5 小时前
2026年AI安全上市公司梳理:产品、认证与商业化进展
大数据·人工智能
镜子AI5 小时前
RPA智能名单激活系统设计:拟人化触达引擎与风控机制实践(镜子AI技术拆解)
大数据·人工智能·rpa
水圈模拟5 小时前
一场洪水的 AI 推演
大数据·人工智能
对空六课6 小时前
指标口径生效时间的版本查询实现
大数据·服务器·前端·算法·数据分析
liliangcsdn6 小时前
服务消费参数指标的解析与应用
大数据
对空六课6 小时前
RFM分层边界变化的回溯计算
大数据·服务器·前端·数据库·人工智能·算法·数据分析
大大大大晴天6 小时前
每天认识一个组件:Spark Catalyst
大数据
小蒋观天下6 小时前
厂区人员徘徊游荡判别——基于时序轨迹速度的逗留行为分级算法落地
大数据·人工智能·深度学习·算法·机器学习·ai大模型