7.7日 实验03-Spark批处理开发(2)

使用Spark处理数据文件

检查数据

检查$DATA_EXERCISE/activations里的数据,每个XML文件包含了客户在指定月份活跃的设备数据。

拷贝数据到HDFS的/dw目录

样本数据示例:

复制代码
<activations>
  <activation timestamp="1225499258" type="phone">
    <account-number>316</account-number>
    <device-id>d61b6971-33e1-42f0-bb15-aa2ae3cd8680</device-id>
    <phone-number>5108307062</phone-number>
    <model>iFruit 1</model>
  </activation>
  ...
</activations>

处理文件

读取XML文件并抽取账户号和设备型号,把结果保存到/dw/account-models,格式为account_number:model

输出示例:

复制代码
1234:iFruit 1
987:Sorrento F00L
4566:iFruit 1
...

提供了解析XML的函数如下:

复制代码
// Stub code to copy into Spark Shell

import scala.xml._

// Given a string containing XML, parse the string, and 
// return an iterator of activation XML records (Nodes) contained in the string

def getActivations(xmlstring: String): Iterator[Node] = {
    val nodes = XML.loadString(xmlstring) \\ "activation"
    nodes.toIterator
}

// Given an activation record (XML Node), return the model name
def getModel(activation: Node): String = {
   (activation \ "model").text
}

// Given an activation record (XML Node), return the account number
def getAccount(activation: Node): String = {
   (activation \ "account-number").text
}

上传数据

复制代码
# 1. 检查并创建HDFS目录
hdfs dfs -mkdir -p /dw

# 2. 将本地数据上传到HDFS(替换$DATA_EXERCISE为实际路径)
hdfs dfs -put $DATA_EXERCISE/activations /dw/

# 3. 检查文件是否上传成功
hdfs dfs -ls /dw/activations
复制代码
定义题目提供的解析函数
复制代码
def getActivations(xmlstring: String): Iterator[Node] = {
    (XML.loadString(xmlstring) \\ "activation").toIterator
}

def getModel(activation: Node): String = (activation \ "model").text
def getAccount(activation: Node): String = (activation \ "account-number").text
复制代码
读取数据(像处理日志一样)
复制代码
val xmlRDD = sc.wholeTextFiles("/dw/activations/*.xml")
复制代码
测试解析(查看第一条记录)
复制代码
val firstRecord = getActivations(xmlRDD.first()._2).next()
println(s"测试解析结果: ${getAccount(firstRecord)}:${getModel(firstRecord)}")
复制代码
处理全部数据
复制代码
val resultRDD = xmlRDD.flatMap { case (_, xml) => 
  getActivations(xml).map(act => s"${getAccount(act)}:${getModel(act)}")
}
复制代码
查看结果样例(10条)
复制代码
resultRDD.take(10).foreach(println)
复制代码
保存结果(先清理旧数据)
复制代码
import org.apache.hadoop.fs._
val outputPath = "/dw/account-models"
val fs = FileSystem.get(sc.hadoopConfiguration)
if (fs.exists(new Path(outputPath))) fs.delete(new Path(outputPath), true)

resultRDD.saveAsTextFile(outputPath)
println(s"结果已保存到 hdfs://$outputPath")

验证结果(在Linux终端执行)

复制代码
# 查看输出结果
hdfs dfs -cat /dw/account-models/part-* | head -n 10

# 如果需要合并结果到单个文件
hdfs dfs -getmerge /dw/account-models ./account_models.txt
head account_models.txt
相关推荐
iCxhust31 分钟前
c# U盘映像生成工具
开发语言·单片机·c#
RadiumAg1 小时前
记一道有趣的面试题
前端·javascript
yangzhi_emo1 小时前
ES6笔记2
开发语言·前端·javascript
yanlele1 小时前
我用爬虫抓取了 25 年 5 月掘金热门面试文章
前端·javascript·面试
emplace_back2 小时前
C# 集合表达式和展开运算符 (..) 详解
开发语言·windows·c#
jz_ddk2 小时前
[学习] C语言数学库函数背后的故事:`double erf(double x)`
c语言·开发语言·学习
萧曵 丶2 小时前
Rust 所有权系统:深入浅出指南
开发语言·后端·rust
xiaolang_8616_wjl2 小时前
c++文字游戏_闯关打怪2.0(开源)
开发语言·c++·开源
收破烂的小熊猫~3 小时前
《Java修仙传:从凡胎到码帝》第四章:设计模式破万法
java·开发语言·设计模式