2023.11.16 hivesql高阶函数之json

目录

1.数据准备

2.操作

[-- 方式1: 逐个(字段)处理, get_json_object UDF函数 最大弊端是一次只能解析提取一个字段](#-- 方式1: 逐个(字段)处理, get_json_object UDF函数 最大弊端是一次只能解析提取一个字段)

[-- 方式2: 逐条处理. json_tuple 这是一个UDTF函数 可以一次解析提取多个字段](#-- 方式2: 逐条处理. json_tuple 这是一个UDTF函数 可以一次解析提取多个字段)

[-- 方式3: 在建表时候, 直接处理json, row format SerDe '能处理Json的SerDe类'](#-- 方式3: 在建表时候, 直接处理json, row format SerDe '能处理Json的SerDe类')


1.数据准备

sql 复制代码
-- 演示json解析
-- 需求: 把json解析后的数据保存成一个新表
--创建表
create table tb_json_test1 (
    json string
);

--加载数据
load data  inpath '/input/device.json' into table tb_json_test1;
-- 查看数据
select * from tb_json_test1;

结果:数据都是在一个集合里 ,无法直接用分隔符提取

2.操作

-- 方式1: 逐个(字段)处理, get_json_object UDF函数 最大弊端是一次只能解析提取一个字段

-- get_json_object UDF函数 最大弊端是一次只能解析提取一个字段

sql 复制代码
create table device1 as
select
    --获取设备名称
    get_json_object(json,"$.device") as device,
    --获取设备类型
    get_json_object(json,"$.deviceType") as deviceType,
    --获取设备信号强度
    get_json_object(json,"$.signal") as signal,
    --获取时间
    get_json_object(json,"$.time") as stime
from tb_json_test1;

-- 方式2: 逐条处理. json_tuple 这是一个UDTF函数 可以一次解析提取多个字段

--json_tuple 这是一个UDTF函数 可以一次解析提取多个字段

--单独使用 解析所有字段

sql 复制代码
create table device2 as
    select
        json_tuple(json,'device','deviceType','signal','time')
            as (device,deviceType,signal,stime)
from tb_json_test1;

select * from device2;
--给字段起别名的时候,如果起了time会报黄,time是一个保留关键字,应该加引号
-- 'time' is a reserved keyword and should be quoted,

数据已被抽取出来

-- 方式3: 在建表时候, 直接处理json, row format SerDe '能处理Json的SerDe类'

--建表的时候直接使用JsonSerDe解析

sql 复制代码
create table tb_json_test2 (
                               device string,
                               deviceType string,
                               signal double,
                               `time` string  --关键字要加反引号
)ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' STORED AS TEXTFILE;
-- 加载数据
load data  inpath '/input/device.json' into table tb_json_test2;
-- 查看
select * from tb_json_test2;
相关推荐
dingdingfish10 分钟前
关于Oracle RAC和ADG的学习资料
oracle·database·adg·rac·ha·dr·maa
顧棟1 小时前
【Yarn实战】Yarn 2.9.1滚动升级到3.4.1调研与实践验证
hadoop·yarn
武昌库里写JAVA3 小时前
C语言 函数指针和指针函数区别 - C语言零基础入门教程
vue.js·spring boot·sql·layui·课程设计
D明明就是我3 小时前
Hive 拉链表
数据仓库·hive·hadoop
大家都爱学java4 小时前
dataease开发环境搭建
database
嘉禾望岗5037 小时前
hive join优化和数据倾斜处理
数据仓库·hive·hadoop
yumgpkpm7 小时前
华为鲲鹏 Aarch64 环境下多 Oracle 数据库汇聚操作指南 CMP(类 Cloudera CDP 7.3)
大数据·hive·hadoop·elasticsearch·zookeeper·big data·cloudera
冻咸鱼8 小时前
MySQL中表操作
android·sql·mysql·oracle
TDengine (老段)8 小时前
TDengine 数据函数 LEAST 用户手册
大数据·数据库·sql·时序数据库·tdengine
忧郁火龙果9 小时前
六、Hive的基本使用
数据仓库·hive·hadoop