4.8.5 利用Spark SQL统计网站每月访问量

在本次实战中，我们通过Spark SQL完成了对网站每月访问量的统计任务。首先，将网站数据文件上传至HDFS，然后利用Spark读取数据并生成DataFrame。接着，通过SQL语句对日期字段进行处理，提取年月信息并添加计数列。之后，按年月分组计算每月访问量，并按访问量降序排列。整个过程涉及数据读取、字段处理、分组聚合和排序等操作，最终成功输出了每月访问量的结果。此任务不仅展示了Spark SQL的强大功能，还体现了数据处理的完整流程，为后续类似任务提供了参考。