3.8.2 利用RDD计算总分与平均分

在本次实战中，我们利用Spark的RDD完成了成绩文件的总分与平均分计算任务。首先，准备了包含学生成绩的文件并上传至HDFS。接着，通过交互式方式逐步实现了成绩的读取、解析、总分计算与平均分计算，并最终输出结果。此外，还通过创建Maven项目，配置了项目依赖、添加了Scala SDK、创建了日志属性文件和HDFS配置文件，并编写了Scala程序。程序运行后，成功将成绩统计结果输出到HDFS，并通过修改代码调整了结果的输出格式。整个过程涵盖了数据处理、程序开发和结果验证的完整流程，进一步加深了对Spark RDD操作的理解和应用能力。