技术栈
词频统计
howard2005
5 个月前
词频统计
·
spark rdd
任务3.8.1 利用RDD实现词频统计
选择实现方式Spark版本与Scala版本匹配JDK版本选择启动服务文件准备分步实现一步实现创建Maven项目
howard2005
5 个月前
sql
·
spark
·
词频统计
任务4.8.1 利用Spark SQL实现词频统计
本地文件准备HDFS文件准备方法一方法二创建Maven项目添加依赖设置源程序文件夹添加Scala SDK
Yan_bigdata
10 个月前
大数据
·
学习
·
spark
·
mapreduce
·
对比
·
词频统计
·
入门案例
Spark基础学习--基础介绍
Spark是可以处理大规模数据的统一分布式计算引擎。在之前我们学习过MapReduce，同样作为大数据分布式计算引擎，究竟这两者有什么区别呢？ 首先我们回顾一下MapReduce的架构：MR基于HDFS实现大数据存储，基于Yarn做资源调度，且MR是基于进程处理数据的
howard2005
1 年前
mr
·
词频统计
MR实战：词频统计
本实战演练旨在利用Hadoop MapReduce框架在虚拟环境中执行一个简单的词频统计任务。首先，在master节点上创建了一个包含多个单词行的文本文件words.txt，并将该文件上传至HDFS中的指定目录/wordcount/input。