hive将包含逗号的字段拆分为多列

目录

一、概述

二、行动

1.准备数据

2.数据清洗

3.substring_index函数

4.split函数实现


一、概述

想将hive表中包含逗号的字段按逗号做分隔符进行分列操作

二、行动

1.准备数据

sql 复制代码
--1
select '{1,2,3,4,5,6,7,8}' as num_str --使用的数据

2.数据清洗

sql 复制代码
--2
select 
      num_str
     ,replace(replace(num_str,'{',''),'}','')  as clean1 --清洗掉大括号
 from (
 select '{1,2,3,4,5,6,7,8}' as num_str --使用的数据
 ) t 

3.substring_index函数

函数介绍:

substring_index(string A, string delim, int count)

返回分隔符出现次数之前字符串A中的子字符串,count>0是从前往后截取,count<0是从后往前截取

sql 复制代码
--3
 select 
      num_str
     ,substring_index(replace(replace(num_str,'{',''),'}',''),',',1)  as index1   --从前往后1个分隔符
     ,substring_index(replace(replace(num_str,'{',''),'}',''),',',2)  as index2   --从前往后2个分隔符
     ,substring_index(replace(replace(num_str,'{',''),'}',''),',',3)  as index3   --从前往后3个分隔符
     ,substring_index(replace(replace(num_str,'{',''),'}',''),',',-1) as index_1  --从后往前1个分隔符
     ,substring_index(replace(replace(num_str,'{',''),'}',''),',',-2) as index_2  --从后往前2个分隔符
     ,substring_index(replace(replace(num_str,'{',''),'}',''),',',-3) as index_3  --从后往前3个分隔符
 from (
 select '{1,2,3,4,5,6,7,8}' as num_str --使用的数据
 ) t 

4.split函数实现

split(string str, string pat)

数组(注意下角标数字从0开始)

string str :待分割字符串

string pat:分割符

sql 复制代码
--4
 select 
      num_str
     ,split(replace(replace(num_str,'{',''),'}',''), ',')[0]          as s1
     ,split(replace(replace(num_str,'{',''),'}',''), ',')[1]          as s2
     ,split(replace(replace(num_str,'{',''),'}',''), ',')[2]          as s3
     ,split(replace(replace(num_str,'{',''),'}',''), ',')[3]          as s4
     ,split(replace(replace(num_str,'{',''),'}',''), ',')[4]          as s5
     ,split(replace(replace(num_str,'{',''),'}',''), ',')[5]          as s6
     ,split(replace(replace(num_str,'{',''),'}',''), ',')[6]          as s7
     ,split(replace(replace(num_str,'{',''),'}',''), ',')[7]          as s8
from (
 select '{1,2,3,4,5,6,7,8}' as num_str --使用的数据
 ) t 

由此可以看出,split函数可以实现我想要的效果,over~

相关推荐
howard20058 小时前
VMWare上搭建Hive集群
hive·hadoop
aristo_boyunv8 小时前
拦截器和过滤器(理论+实操)
java·数据仓库·hadoop·servlet
IT研究室14 小时前
大数据毕业设计选题推荐-基于大数据的贵州茅台股票数据分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·数据可视化·bigdata
Lx35216 小时前
Hadoop异常处理机制:优雅处理失败任务
大数据·hadoop
IT毕设梦工厂17 小时前
大数据毕业设计选题推荐-基于大数据的国家基站整点数据分析系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·spark·毕业设计·源码·数据可视化
项目題供诗18 小时前
Hadoop(八)
大数据·hadoop·分布式
计算机毕业设计木哥20 小时前
Python毕业设计推荐:基于Django的饮食计划推荐与交流分享平台 饮食健康系统 健康食谱计划系统
开发语言·hadoop·spring boot·后端·python·django·课程设计
元媛媛1 天前
数据仓库概要
数据仓库
cg.family1 天前
Doris 数据仓库例子
数据仓库·doris
TDengine (老段)1 天前
从 ETL 到 Agentic AI:工业数据管理变革与 TDengine IDMP 的治理之道
数据库·数据仓库·人工智能·物联网·时序数据库·etl·tdengine