hive - explode 用法以及练习

hive explode 的用法以及练习

一行变多行 explode

例如: 临时表 temp_table ,列名为1st

1st
1,2,3
4,5,6

变为

1

2

3

4

5

6

方式一:直接使用 explode

bash 复制代码
select   
 explode(split(1st,',')) 
 from temp_table;

方式二:使用 lateral view explode() 临时别名 as 列名

bash 复制代码
select  
  type
 from  temp_table
 lateral view explode(split(1st,','))  tmp as type;

练习:

数据库表名default.classinfo ,对应列分别是班级,姓名,成绩

class student score
1班 A,B,C 88,90,77
2班 D,E 80,92
3班 F,G,H 95,75,66

练习1:将姓名分开变为一行一个名字

bash 复制代码
select 
	class ,student_name
from
	default.classinfo
    lateral view explode(split(student,',')) t as student_name;

练习2:给每个同学一个编号,按姓名顺序,从1开始

使用 posexplode 函数

bash 复制代码
select 
	class,student_index +1 as stu_index,student_name
from
	default.classinfo
	lateral view posexplode(split(student,',')) t as student_index,student_name;

这里+1 是因为编号是从0开始的

练习3:使学生姓名与成绩进行匹配

注意:这里是对两列进行explode,会两两进行匹配,以1班为例,就是 3* 3=9 ,这显然是不对的,此时,就需要用到posexplode

,然后通过where 保留序号相同的行

bash 复制代码
select 
	class,stu_name,stu_score
from 
	defalult.classinfo
	lateral view posexplode(split(student,',')) sn as stu_n_index,stu_name
	lateral view posexplode(split(score,',')) ss as stu_s_index,stu_score
where
	stu_n_index - stu_s_index

练习4:对每个班的成绩进行排名

注意:

row_number(): 排序的字段值相同时序列号不会重复,如:1、2、(2)3、4、5(出现两个2,第二个2继续编号3)

rank() : 排序的字段值相同时序列号会重复且下一个序列号跳过重复位,如:1、2、2、4、5(出现两个2,跳过序号3,继续编号4)

dense_rank(): 排序的字段值相同时序列号会重复且下一个序列号继续序号自增,如:1、2、2、3、4(出现两个2,继续按照3编号)

这里我们使用rank()

bash 复制代码
select 
	class,
	stu_name,
	stu_score,
	rank() over(partition by class order by stu_score desc ) as stu_rank

from 
	default.classinfo
	lateral view posexplode(split(student,','))  sn as stu_n_index,stu_name
	lateral view posexplode(split(score,',')) ss as stu_s_index ,stu_score
where
	stu_n_index = stu_s_index
相关推荐
K_i1347 小时前
Hadoop 集群自动化运维实战
运维·hadoop·自动化
Q26433650239 小时前
【有源码】基于Python与Spark的火锅店数据可视化分析系统-基于机器学习的火锅店综合竞争力评估与可视化分析-基于用户画像聚类的火锅店市场细分与可视化研究
大数据·hadoop·python·机器学习·数据分析·spark·毕业设计
想ai抽19 小时前
深入starrocks-多列联合统计一致性探查与策略(YY一下)
java·数据库·数据仓库
starfalling102420 小时前
【hive】一种高效增量表的实现
hive
顧棟1 天前
【Yarn实战】Yarn 2.9.1滚动升级到3.4.1调研与实践验证
hadoop·yarn
D明明就是我1 天前
Hive 拉链表
数据仓库·hive·hadoop
嘉禾望岗5031 天前
hive join优化和数据倾斜处理
数据仓库·hive·hadoop
yumgpkpm1 天前
华为鲲鹏 Aarch64 环境下多 Oracle 数据库汇聚操作指南 CMP(类 Cloudera CDP 7.3)
大数据·hive·hadoop·elasticsearch·zookeeper·big data·cloudera
忧郁火龙果1 天前
六、Hive的基本使用
数据仓库·hive·hadoop
忧郁火龙果1 天前
五、安装配置hive
数据仓库·hive·hadoop