2023.11.16 hivesql高阶函数之json

目录

1.数据准备

2.操作

[-- 方式1: 逐个(字段)处理, get_json_object UDF函数 最大弊端是一次只能解析提取一个字段](#-- 方式1: 逐个(字段)处理, get_json_object UDF函数 最大弊端是一次只能解析提取一个字段)

[-- 方式2: 逐条处理. json_tuple 这是一个UDTF函数 可以一次解析提取多个字段](#-- 方式2: 逐条处理. json_tuple 这是一个UDTF函数 可以一次解析提取多个字段)

[-- 方式3: 在建表时候, 直接处理json, row format SerDe '能处理Json的SerDe类'](#-- 方式3: 在建表时候, 直接处理json, row format SerDe '能处理Json的SerDe类')


1.数据准备

sql 复制代码
-- 演示json解析
-- 需求: 把json解析后的数据保存成一个新表
--创建表
create table tb_json_test1 (
    json string
);

--加载数据
load data  inpath '/input/device.json' into table tb_json_test1;
-- 查看数据
select * from tb_json_test1;

结果:数据都是在一个集合里 ,无法直接用分隔符提取

2.操作

-- 方式1: 逐个(字段)处理, get_json_object UDF函数 最大弊端是一次只能解析提取一个字段

-- get_json_object UDF函数 最大弊端是一次只能解析提取一个字段

sql 复制代码
create table device1 as
select
    --获取设备名称
    get_json_object(json,"$.device") as device,
    --获取设备类型
    get_json_object(json,"$.deviceType") as deviceType,
    --获取设备信号强度
    get_json_object(json,"$.signal") as signal,
    --获取时间
    get_json_object(json,"$.time") as stime
from tb_json_test1;

-- 方式2: 逐条处理. json_tuple 这是一个UDTF函数 可以一次解析提取多个字段

--json_tuple 这是一个UDTF函数 可以一次解析提取多个字段

--单独使用 解析所有字段

sql 复制代码
create table device2 as
    select
        json_tuple(json,'device','deviceType','signal','time')
            as (device,deviceType,signal,stime)
from tb_json_test1;

select * from device2;
--给字段起别名的时候,如果起了time会报黄,time是一个保留关键字,应该加引号
-- 'time' is a reserved keyword and should be quoted,

数据已被抽取出来

-- 方式3: 在建表时候, 直接处理json, row format SerDe '能处理Json的SerDe类'

--建表的时候直接使用JsonSerDe解析

sql 复制代码
create table tb_json_test2 (
                               device string,
                               deviceType string,
                               signal double,
                               `time` string  --关键字要加反引号
)ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' STORED AS TEXTFILE;
-- 加载数据
load data  inpath '/input/device.json' into table tb_json_test2;
-- 查看
select * from tb_json_test2;
相关推荐
IT学长编程4 小时前
计算机毕业设计 基于Hadoop的健康饮食推荐系统的设计与实现 Java 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
java·大数据·hadoop·毕业设计·课程设计·推荐算法·毕业论文
Martin-Luo4 小时前
Vue3 通过json配置生成查询表单
javascript·vue.js·json
Huhbbjs5 小时前
SQL 核心概念与实践总结
开发语言·数据库·sql
咋吃都不胖lyh5 小时前
SQL-字符串函数、数值函数、日期函数
sql
sensenlin915 小时前
Mybatis中SQL全大写或全小写影响执行性能吗
数据库·sql·mybatis
星尘库5 小时前
后端json数据反序列化枚举类型不匹配的错误
json
BXCQ_xuan5 小时前
软件工程实践四:MyBatis-Plus 教程(连接、分页、查询)
spring boot·mysql·json·mybatis
王维志6 小时前
LiteDB详解
数据库·后端·mongodb·sqlite·c#·json·database
Lx3527 小时前
Hadoop数据一致性保障:处理分布式系统常见问题
大数据·hadoop
IT学长编程8 小时前
计算机毕业设计 基于Hadoop豆瓣电影数据可视化分析设计与实现 Python 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试
大数据·hadoop·python·django·毕业设计·毕业论文·豆瓣电影数据可视化分析