2023.11.16 hivesql高阶函数之json

目录

1.数据准备

2.操作

[-- 方式1: 逐个(字段)处理, get_json_object UDF函数 最大弊端是一次只能解析提取一个字段](#-- 方式1: 逐个(字段)处理, get_json_object UDF函数 最大弊端是一次只能解析提取一个字段)

[-- 方式2: 逐条处理. json_tuple 这是一个UDTF函数 可以一次解析提取多个字段](#-- 方式2: 逐条处理. json_tuple 这是一个UDTF函数 可以一次解析提取多个字段)

[-- 方式3: 在建表时候, 直接处理json, row format SerDe '能处理Json的SerDe类'](#-- 方式3: 在建表时候, 直接处理json, row format SerDe '能处理Json的SerDe类')


1.数据准备

sql 复制代码
-- 演示json解析
-- 需求: 把json解析后的数据保存成一个新表
--创建表
create table tb_json_test1 (
    json string
);

--加载数据
load data  inpath '/input/device.json' into table tb_json_test1;
-- 查看数据
select * from tb_json_test1;

结果:数据都是在一个集合里 ,无法直接用分隔符提取

2.操作

-- 方式1: 逐个(字段)处理, get_json_object UDF函数 最大弊端是一次只能解析提取一个字段

-- get_json_object UDF函数 最大弊端是一次只能解析提取一个字段

sql 复制代码
create table device1 as
select
    --获取设备名称
    get_json_object(json,"$.device") as device,
    --获取设备类型
    get_json_object(json,"$.deviceType") as deviceType,
    --获取设备信号强度
    get_json_object(json,"$.signal") as signal,
    --获取时间
    get_json_object(json,"$.time") as stime
from tb_json_test1;

-- 方式2: 逐条处理. json_tuple 这是一个UDTF函数 可以一次解析提取多个字段

--json_tuple 这是一个UDTF函数 可以一次解析提取多个字段

--单独使用 解析所有字段

sql 复制代码
create table device2 as
    select
        json_tuple(json,'device','deviceType','signal','time')
            as (device,deviceType,signal,stime)
from tb_json_test1;

select * from device2;
--给字段起别名的时候,如果起了time会报黄,time是一个保留关键字,应该加引号
-- 'time' is a reserved keyword and should be quoted,

数据已被抽取出来

-- 方式3: 在建表时候, 直接处理json, row format SerDe '能处理Json的SerDe类'

--建表的时候直接使用JsonSerDe解析

sql 复制代码
create table tb_json_test2 (
                               device string,
                               deviceType string,
                               signal double,
                               `time` string  --关键字要加反引号
)ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' STORED AS TEXTFILE;
-- 加载数据
load data  inpath '/input/device.json' into table tb_json_test2;
-- 查看
select * from tb_json_test2;
相关推荐
ZhengEnCi3 小时前
覆盖索引是什么:用借书和外卖看懂回表这件事
sql·mysql·postgresql
CoderYanger5 小时前
Java EE 进阶:10. MyBatis-Plus使用(第一弹)
java·spring boot·后端·sql·spring·java-ee·mybatis
鲸渔10 小时前
【AI Agent系列课程13-Python 基础13】JSON 读写:结构化数据交换基础
开发语言·python·json·ai编程
Star(up up up)10 小时前
MySQL 事务隔离级别是如何实现的?从 MVCC 到锁机制原理详解
笔记·vscode·sql·学习·程序人生·mysql·学习方法
Decay__19 小时前
PostgreSQL 数据库全栈运维实战系列 — 合集索引(24 篇)
运维·数据库·sql·mysql·架构
武昌库里写JAVA19 小时前
SpringBoot+Vue 项目介绍
java·javascript·git·sql·ai
ZhengEnCi1 天前
覆盖索引怎么设计:从回表代价到 MySQL 与 PostgreSQL 的落地写法
sql·mysql·postgresql
FungLeo1 天前
FengCMS · PHP+MySQL 升级实录·模型导入从“加密 SQL 码“到.fengmodel.json
sql·mysql·php·工程实践·fengcms
正在走向自律1 天前
MySQL兼容性深度实践:建表、增删改查与迁移避坑全记录
数据库·sql·mysql·信创·数据库迁移
Decay__1 天前
PostgreSQL 体系架构全解 —— 进程模型、共享内存、MVCC 与 WAL 预写日志深入
运维·数据库·sql·mysql·架构