本次实战涵盖数据帧(DataFrame)与数据集(Dataset)操作。通过 SparkSession 统一入口加载 HDFS 文本文件，定义 Student 样例类实现结构化转换。支持投影(select)、过滤(filter)、聚合(groupBy)、排序(sort)等核心操作：可按字段筛选、条件查询、分组统计(计数/求和/平均值/最值)及多级排序。提供 SQL 风格 API，允许列别名、表达式计算，通过 createTempView() 注册临时视图后执行标准 SQL 语句，实现灵活的数据分析与查询，适用于大数据场景下的结构化数据处理。
4.1 Spark SQL数据帧与数据集
howard20052026-05-16 13:05
相关推荐
@HNUSTer5 天前
基于 GEE 的 Sentinel-2 海岸线自动提取：从NDWI水体指数到Canny边缘检测全流程@HNUSTer5 天前
基于 GEE 的 LST 降尺度建模——利用 Sentinel-2 和 SRTM 提升 Landsat 热红外分辨率至 10 米YOLO数据集集合12 天前
一站式AI数据自动化标注与训练平台：零门槛玩转YOLO全系列模型HyperAI超神经13 天前
128K长上下文+智能体强化训练！LFM2.5-2.6B解锁端侧大模型高效部署；DETR用Transformer斩断NMS与Anchor，重塑目标检测前网易架构师-高司机18 天前
带标注的羽毛球运动员，裁判，羽毛球识别数据集，识别率84.4%，2879张图，支持yolo，coco json，voc xml,文末有模型训练代码深度学习lover1 个月前
＜数据集＞yolo 小麦麦穗识别＜目标检测＞前网易架构师-高司机1 个月前
带标注的扑克牌识别数据集，识别率99.5%，3083张图，支持yolo，coco json，voc xml,文末有模型训练代码前网易架构师-高司机1 个月前
带标注的浮游藻类24种数据集，识别率91.5 %数据集， 23175张图，支持yolo，coco json，voc xml,文末有模型训练代码前网易架构师-高司机1 个月前
带标注的成熟棉花识别数据集，识别率83.9%数据集，505张图，支持yolo，coco json，voc xml,文末有模型训练代码AI小译1 个月前
微调数据集（主流开源模型）