SpaekSql函数

1.show():

默认显示前20条数据,如需显示前5行,则用show(5)即可

2.printSchema()

输出表结构:字段名和字段数据类型等信息

3.read()

读取结构化数据文件,要根据数据文件类型的不同选用对应的函数:

csv------读取csv文件:通过option("header","true)和option("inferSchema","true")来设置读入表头和自动推断数据类型

json---读取json文件

4.select()

查询

复制代码
book.select("id","name").show()

指定字段,只需要将多个字段名放到参数的位置即可,多个字段名之间用逗号隔开

5.where(条件表达式)---筛选满足指定条件的数据

获取字段值:$

统计书名包含"微积分"的书的数量

(1)筛选到书名包含"微积分"的书---满足指定条件的数where/filter(条件表达式)

复制代码
book.where($"name".like("%微积分%"))

6.count---统计记录的条数

(2)统计(1)执行后满足条件的数据的条数

复制代码
val num = book.where($"name".like("%微积分%")).count()

【案例2】查询评分大于等于9分,小于等于9.5分,且书名包含"艺术"的书,只展示前10条的序号、书名和评分,按分数从高到低排列。

1.条件------where(1)评分大于等于9分,小于等于9.5分

(2) 书名包含"艺术"的书

2.限制数据的条数------limit

3.只要序号、书名和评分------select

4.按分数从高到低排列------orderBy

复制代码
 val df1 = book.where($"rating">=9 && $"rating"<=9.5 && $"name".like("%微积分%"))
 val df2 = df1.limit(10)
 val df3 = df2.select("id","name","rating")
 df3.orderBy($"rating".desc).show()
​

7.limit------限制数据的条数

8.orderBy------排序(默认是升序,如需要降序,需要加desc的后缀)

【课堂练习】

1.上传student.json文件到vmware中master主机上

2.将student.json文件传给slave1和slave2

复制代码
 scp -r /opt/data/student.json slave1:/opt/data
 scp -r /opt/data/student.json slave2:/opt/data

3.借助sparksql编程入口(Spark Session类)对象:spark,读取json文件

复制代码
val path = "file:///opt/data/student.json"
val student = spark.read.json(path)

4..查询学生的name,age,score,只要前两行数据

复制代码
student.select("name","age","score").show(2)
student.select("name","age","score").limit(2).show

5.给每个学生的score字段值+5,并将加和后的字段重新命名为newScore

复制代码
student.select($"name",$"score"+5 as "newScore").show

6.筛选出age大于20的学生信息

复制代码
student.where($"age">20).show

7.按照分数从高到低排序,找出前两名

复制代码
student.orderBy($"score".desc).show(2)
相关推荐
冰暮流星15 分钟前
mysql之表子查询
数据库·mysql
Captaincc16 分钟前
掘金AI用量统计v0.1.0大更新-支持桌面宠物自定义和订阅额度卡片
前端·后端
默_笙27 分钟前
🚲 从写信到打电话:WebSocket 双工通信与跨域方案的"通信进化史"
前端·javascript
Full Stack Developme43 分钟前
CRM相关库表设计
数据库
步行cgn1 小时前
Spring 注入 Map 集合详解
数据库·python·spring
掘金酱1 小时前
社区排行榜现已上线
前端·人工智能
zzjyr1 小时前
AI 问答的流式响应是怎么实现的?从 fetch 到 SSE 逐字解析
前端·人工智能·ai编程
ikoala1 小时前
DeepSeek 官方仓库惊现 DeepSeek Harness 桌面端!
前端·javascript·后端
liangshanbo12151 小时前
React useEffect 与 useLayoutEffect 面试题整理
前端·javascript·react.js
风跟我说过她2 小时前
SQL 一键转经典 Chen 风格 ER 图:开源 CLI + 在线工具 + Agent Skill
数据库·python·sql·开源·开源软件