3.8.5 利用RDD统计网站每月访问量

本次实战通过 Spark RDD API 实现网站访问日志的月度流量统计。原始数据 websiteData.csv 包含逗号分隔的访问记录，其中第五列存储 yyyy-M-d H:m 格式的时间戳。核心处理流程包括：首先读取 CSV 文件生成 RDD，通过 split(",")(4) 提取时间字段，再经 split(" ")(0) 和 split("-") 两次分割获取年月日，最终拼接为 yyyy-M 格式的月份键。将每条记录映射为 (月份, 1) 键值对后，使用 reduceByKey(_ + _) 对相同月份的访问次数进行累计，最后通过 sortBy(_._2, false) 按访问量降序排列。实验提供了 Spark Shell 交互式和 Maven 项目两种实现模式，展示了从数据清洗、字段提取、键值转换到聚合统计的完整 ETL 流程，并将结果保存至 HDFS，是典型的大数据批处理场景，适用于用户行为分析、业务指标监控等应用。