本次实战涵盖数据帧(DataFrame)与数据集(Dataset)操作。通过 SparkSession 统一入口加载 HDFS 文本文件，定义 Student 样例类实现结构化转换。支持投影(select)、过滤(filter)、聚合(groupBy)、排序(sort)等核心操作：可按字段筛选、条件查询、分组统计(计数/求和/平均值/最值)及多级排序。提供 SQL 风格 API，允许列别名、表达式计算，通过 createTempView() 注册临时视图后执行标准 SQL 语句，实现灵活的数据分析与查询，适用于大数据场景下的结构化数据处理。
4.1 Spark SQL数据帧与数据集
howard20052026-05-16 13:05
相关推荐
深度学习lover13 天前
＜数据集＞yolo 小麦麦穗识别＜目标检测＞前网易架构师-高司机15 天前
带标注的扑克牌识别数据集，识别率99.5%，3083张图，支持yolo，coco json，voc xml,文末有模型训练代码前网易架构师-高司机15 天前
带标注的浮游藻类24种数据集，识别率91.5 %数据集， 23175张图，支持yolo，coco json，voc xml,文末有模型训练代码前网易架构师-高司机16 天前
带标注的成熟棉花识别数据集，识别率83.9%数据集，505张图，支持yolo，coco json，voc xml,文末有模型训练代码AI小译17 天前
微调数据集（主流开源模型）AI小译18 天前
ShareGPT 数据集格式前网易架构师-高司机18 天前
带标注的移动通信基站信号塔，可识别塔架和塔身数据集，识别率93.5%，1008张图，支持yolo，coco json，voc xml,文末有模型训练代码皓悦编程记19 天前
【免费数据集010期】Grape Leaf Diseases 葡萄叶病害检测数据集（4类）：面向智慧农业的叶片病害识别基准前网易架构师-高司机22 天前
带标注的带标注的医用采血管分类和标签识别数据集，识别率80.7%，5524张图，支持yolo，coco json，voc xml,文末有模型训练代码HyperAI超神经22 天前
数据集汇总丨英伟达开源Nemotron系列数据集，超10T tokens+40M 条后训练样本，覆盖数学推理/代码生成/多语言对话