hive将包含逗号的字段拆分为多列

目录

一、概述

二、行动

1.准备数据

2.数据清洗

3.substring_index函数

4.split函数实现


一、概述

想将hive表中包含逗号的字段按逗号做分隔符进行分列操作

二、行动

1.准备数据

sql 复制代码
--1
select '{1,2,3,4,5,6,7,8}' as num_str --使用的数据

2.数据清洗

sql 复制代码
--2
select 
      num_str
     ,replace(replace(num_str,'{',''),'}','')  as clean1 --清洗掉大括号
 from (
 select '{1,2,3,4,5,6,7,8}' as num_str --使用的数据
 ) t 

3.substring_index函数

函数介绍:

substring_index(string A, string delim, int count)

返回分隔符出现次数之前字符串A中的子字符串,count>0是从前往后截取,count<0是从后往前截取

sql 复制代码
--3
 select 
      num_str
     ,substring_index(replace(replace(num_str,'{',''),'}',''),',',1)  as index1   --从前往后1个分隔符
     ,substring_index(replace(replace(num_str,'{',''),'}',''),',',2)  as index2   --从前往后2个分隔符
     ,substring_index(replace(replace(num_str,'{',''),'}',''),',',3)  as index3   --从前往后3个分隔符
     ,substring_index(replace(replace(num_str,'{',''),'}',''),',',-1) as index_1  --从后往前1个分隔符
     ,substring_index(replace(replace(num_str,'{',''),'}',''),',',-2) as index_2  --从后往前2个分隔符
     ,substring_index(replace(replace(num_str,'{',''),'}',''),',',-3) as index_3  --从后往前3个分隔符
 from (
 select '{1,2,3,4,5,6,7,8}' as num_str --使用的数据
 ) t 

4.split函数实现

split(string str, string pat)

数组(注意下角标数字从0开始)

string str :待分割字符串

string pat:分割符

sql 复制代码
--4
 select 
      num_str
     ,split(replace(replace(num_str,'{',''),'}',''), ',')[0]          as s1
     ,split(replace(replace(num_str,'{',''),'}',''), ',')[1]          as s2
     ,split(replace(replace(num_str,'{',''),'}',''), ',')[2]          as s3
     ,split(replace(replace(num_str,'{',''),'}',''), ',')[3]          as s4
     ,split(replace(replace(num_str,'{',''),'}',''), ',')[4]          as s5
     ,split(replace(replace(num_str,'{',''),'}',''), ',')[5]          as s6
     ,split(replace(replace(num_str,'{',''),'}',''), ',')[6]          as s7
     ,split(replace(replace(num_str,'{',''),'}',''), ',')[7]          as s8
from (
 select '{1,2,3,4,5,6,7,8}' as num_str --使用的数据
 ) t 

由此可以看出,split函数可以实现我想要的效果,over~

相关推荐
Leo.yuan20 小时前
数据清洗(ETL/ELT)原理与工具选择指南:企业数字化转型的核心引擎
大数据·数据仓库·数据挖掘·数据分析·etl
isNotNullX1 天前
实时数仓和离线数仓还分不清楚?看完就懂了
大数据·数据库·数据仓库·人工智能·数据分析
熊猫钓鱼>_>1 天前
Hadoop 用户入门指南:驾驭大数据的力量
大数据·hadoop·分布式
William一直在路上1 天前
SpringBoot 拦截器和过滤器的区别
hive·spring boot·后端
Leo.yuan1 天前
数据分析师如何构建自己的底层逻辑?
大数据·数据仓库·人工智能·数据挖掘·数据分析
抛砖者1 天前
hive/spark sql中unix_timestamp 函数的坑以及时间戳相关的转换
hive·sql·spark
落霞的思绪1 天前
使用云虚拟机搭建hadoop集群环境
大数据·hadoop·分布式
无级程序员2 天前
大数据平台之ranger与ldap集成,同步用户和组
大数据·hadoop
梦想画家2 天前
数据仓库:企业数据管理的核心枢纽
数据仓库
梦想画家4 天前
数据仓库中的代理键:概念、应用与实践指南
数据仓库·代理键·缓慢维度变化