Hive多行转多列,多列转多行

hive中的行列转换包含单行、多行、单列、多列,所以一共有四种组和转换结果。

一、多行转多列

原始数据表

目标结果表

分析:目标表中的a和b是用分组形成,所以groupby字段选用原始表中col1,c、d、e是原始表中的行值,在目标表中成了列名,目标表中可以采用as做列名自定义,当原始表中的某一字段值等于某一特定值时,人为定义为结果表中的列名。

SQL实现

bash 复制代码
select
  col1 as col1,
  max(case col2 when 'c' then col3 else 0 end) as c,//当原始表中col2的字段为C时,取col3中的值,否则取0,然后取最大值,前提是原始表中没有比0更小的数,如果原始表中有比自定义的0值更小的数,else不能采用0,else的值要为原始表中最小数或比最小数还小。
  max(case col2 when 'd' then col3 else 0 end) as d,
  max(case col2 when 'e' then col3 else 0 end) as e
from
  row2col1
group by
  col1;


总结:多行转多列主要是条件函数,再取最大值,再用as自定义为新列名

二、单行转多列

原始数据表

目标数据表

**
分析:结果表是将原始表按照col1和col2进行分组统计,将原始表中具有相同col2的col3值拼接到目标表col3的字段当中,所以要采用hive中的拼接函数,但是拼接函数只使用于字符串,所以要将目标表中的col3的值转换为字符串,同时指定拼接关系逗号

SQL语句

bash 复制代码
select
  col1,
  col2,
  concat_ws(',', collect_list(cast(col3 as string))) as col3
from
  row2col2
group by
  col1, col2;

总结:多行转单列主要知识点就是字符串拼接函数

三、多列转多行

原始表

目标表

分析:union all 是在结果的行后面增加,简单理解为:连接行记录,类似向MySQL数据库中增加行记录
而left join是将两个表的列全部放入一张表的列中,增加列记录。

SQL实现

bash 复制代码
select col1, 'c' as col2, col2 as col3 from col2row1
UNION ALL
select col1, 'd' as col2, col3 as col3 from col2row1
UNION ALL
select col1, 'e' as col2, col4 as col3 from col2row1;

四、单列转多行

原始表

目标表

分析:一列中包含多个数据如Map或array,一般使用explode函数,俗称炸裂函数,将数据集合切分出来展示
SQL实现

bash 复制代码
select
  col1,
  col2,
  lv.col3 as col3
from
  col2row2
    lateral view
  explode(split(col3, ',')) lv as col3;

结果

相关推荐
啊迷诺斯15 小时前
hadoop的常用命令
hadoop
SelectDB技术团队16 小时前
Apache Doris 2025 Roadmap:构建 GenAI 时代实时高效统一的数据底座
大数据·数据库·数据仓库·人工智能·ai·数据分析·湖仓一体
Loving_enjoy17 小时前
基于Hadoop的明星社交媒体影响力数据挖掘平台:设计与实现
大数据·hadoop·数据挖掘
weixin_3077791318 小时前
使用C#实现从Hive的CREATE TABLE语句中提取分区字段名和数据类型
开发语言·数据仓库·hive·c#
一个天蝎座 白勺 程序猿20 小时前
大数据(4.6)Hive执行引擎选型终极指南:MapReduce/Tez/Spark性能实测×万亿级数据资源配置公式
大数据·hive·mapreduce
墨染丶eye1 天前
数据仓库项目启动与管理
大数据·数据仓库·spark
一个天蝎座 白勺 程序猿2 天前
大数据(4.5)Hive聚合函数深度解析:从基础统计到多维聚合的12个生产级技巧
大数据·hive·hadoop
浩浩kids2 天前
Hadoop•踩过的SHIT
大数据·hadoop·分布式
weixin_307779132 天前
C#实现HiveQL建表语句中特殊数据类型的包裹
开发语言·数据仓库·hive·c#
一个天蝎座 白勺 程序猿2 天前
大数据(4.2)Hive核心操作实战指南:表创建、数据加载与分区/分桶设计深度解析
大数据·hive·hadoop