SpaekSql函数

1.show():

默认显示前20条数据,如需显示前5行,则用show(5)即可

2.printSchema()

输出表结构:字段名和字段数据类型等信息

3.read()

读取结构化数据文件,要根据数据文件类型的不同选用对应的函数:

csv------读取csv文件:通过option("header","true)和option("inferSchema","true")来设置读入表头和自动推断数据类型

json---读取json文件

4.select()

查询

复制代码
book.select("id","name").show()

指定字段,只需要将多个字段名放到参数的位置即可,多个字段名之间用逗号隔开

5.where(条件表达式)---筛选满足指定条件的数据

获取字段值:$

统计书名包含"微积分"的书的数量

(1)筛选到书名包含"微积分"的书---满足指定条件的数where/filter(条件表达式)

复制代码
book.where($"name".like("%微积分%"))

6.count---统计记录的条数

(2)统计(1)执行后满足条件的数据的条数

复制代码
val num = book.where($"name".like("%微积分%")).count()

【案例2】查询评分大于等于9分,小于等于9.5分,且书名包含"艺术"的书,只展示前10条的序号、书名和评分,按分数从高到低排列。

1.条件------where(1)评分大于等于9分,小于等于9.5分

(2) 书名包含"艺术"的书

2.限制数据的条数------limit

3.只要序号、书名和评分------select

4.按分数从高到低排列------orderBy

复制代码
 val df1 = book.where($"rating">=9 && $"rating"<=9.5 && $"name".like("%微积分%"))
 val df2 = df1.limit(10)
 val df3 = df2.select("id","name","rating")
 df3.orderBy($"rating".desc).show()
​

7.limit------限制数据的条数

8.orderBy------排序(默认是升序,如需要降序,需要加desc的后缀)

【课堂练习】

1.上传student.json文件到vmware中master主机上

2.将student.json文件传给slave1和slave2

复制代码
 scp -r /opt/data/student.json slave1:/opt/data
 scp -r /opt/data/student.json slave2:/opt/data

3.借助sparksql编程入口(Spark Session类)对象:spark,读取json文件

复制代码
val path = "file:///opt/data/student.json"
val student = spark.read.json(path)

4..查询学生的name,age,score,只要前两行数据

复制代码
student.select("name","age","score").show(2)
student.select("name","age","score").limit(2).show

5.给每个学生的score字段值+5,并将加和后的字段重新命名为newScore

复制代码
student.select($"name",$"score"+5 as "newScore").show

6.筛选出age大于20的学生信息

复制代码
student.where($"age">20).show

7.按照分数从高到低排序,找出前两名

复制代码
student.orderBy($"score".desc).show(2)
相关推荐
deli0076 小时前
32K 上下文塞满后,AI 最先忘掉什么?120 轮对话实测
前端
deli0077 小时前
手机拍灯为什么有一条条黑纹?PWM 240Hz 实测
前端
wangruofeng12 小时前
AI Models 1.1.0 发布,查大模型价格、对比模型和找 API 地址
前端·aigc·ai编程
wangruofeng12 小时前
给前端开发者的 100 个设计参考网站
前端·设计
OceanRoy13 小时前
数据库表的设计
数据库·内连接·外连接·er图·表的约束·三大范式·多表连接
Pniubi14 小时前
怎么排查慢SQL,怎么解决?
java·数据库·sql
星栈15 小时前
视频即代码,Remotion 能做什么、不能做什么
前端·音视频开发
广州华水科技15 小时前
单北斗GNSS位移监测系统的应用与技术解析
前端
用户479492835691515 小时前
从一句话或代码仓到可交互 HTML:开源 Agent 画图技能 Archify v3.2 实测与选型边界
前端·后端·面试
风骏时光牛马18 小时前
生成一个AI多模态标题,仅输出一条标题,无额外文字、问句、备选、配图、文案等任何附加内容,不需要其他的任务服务 只要标题。
前端