2023.11.16 hivesql高阶函数之json

目录

1.数据准备

2.操作

[-- 方式1: 逐个(字段)处理, get_json_object UDF函数 最大弊端是一次只能解析提取一个字段](#-- 方式1: 逐个(字段)处理, get_json_object UDF函数 最大弊端是一次只能解析提取一个字段)

[-- 方式2: 逐条处理. json_tuple 这是一个UDTF函数 可以一次解析提取多个字段](#-- 方式2: 逐条处理. json_tuple 这是一个UDTF函数 可以一次解析提取多个字段)

[-- 方式3: 在建表时候, 直接处理json, row format SerDe '能处理Json的SerDe类'](#-- 方式3: 在建表时候, 直接处理json, row format SerDe '能处理Json的SerDe类')


1.数据准备

sql 复制代码
-- 演示json解析
-- 需求: 把json解析后的数据保存成一个新表
--创建表
create table tb_json_test1 (
    json string
);

--加载数据
load data  inpath '/input/device.json' into table tb_json_test1;
-- 查看数据
select * from tb_json_test1;

结果:数据都是在一个集合里 ,无法直接用分隔符提取

2.操作

-- 方式1: 逐个(字段)处理, get_json_object UDF函数 最大弊端是一次只能解析提取一个字段

-- get_json_object UDF函数 最大弊端是一次只能解析提取一个字段

sql 复制代码
create table device1 as
select
    --获取设备名称
    get_json_object(json,"$.device") as device,
    --获取设备类型
    get_json_object(json,"$.deviceType") as deviceType,
    --获取设备信号强度
    get_json_object(json,"$.signal") as signal,
    --获取时间
    get_json_object(json,"$.time") as stime
from tb_json_test1;

-- 方式2: 逐条处理. json_tuple 这是一个UDTF函数 可以一次解析提取多个字段

--json_tuple 这是一个UDTF函数 可以一次解析提取多个字段

--单独使用 解析所有字段

sql 复制代码
create table device2 as
    select
        json_tuple(json,'device','deviceType','signal','time')
            as (device,deviceType,signal,stime)
from tb_json_test1;

select * from device2;
--给字段起别名的时候,如果起了time会报黄,time是一个保留关键字,应该加引号
-- 'time' is a reserved keyword and should be quoted,

数据已被抽取出来

-- 方式3: 在建表时候, 直接处理json, row format SerDe '能处理Json的SerDe类'

--建表的时候直接使用JsonSerDe解析

sql 复制代码
create table tb_json_test2 (
                               device string,
                               deviceType string,
                               signal double,
                               `time` string  --关键字要加反引号
)ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' STORED AS TEXTFILE;
-- 加载数据
load data  inpath '/input/device.json' into table tb_json_test2;
-- 查看
select * from tb_json_test2;
相关推荐
Joeysoda3 小时前
MySQL 基础学习(1):数据类型与操作数据库和数据表
数据库·mysql·oracle·database
monstercl4 小时前
Ubuntu20彻底删除MySQL8
sql·mysql·ubuntu·c/c++
羊小猪~~5 小时前
MYSQL学习笔记(五):单行函数(字符串、数学、日期时间、条件判断、信息、加密、进制转换函数)讲解
数据库·笔记·后端·sql·学习·mysql·考研
羊小猪~~6 小时前
MYSQL学习笔记(六):聚合函数、sql语句执行原理简要分析
java·数据库·c++·后端·sql·mysql·考研
MrZhangBaby14 小时前
SQL-leetcode—1148. 文章浏览 I
数据库·sql·leetcode
精通HelloWorld!17 小时前
金额存储类型-浮点数的精度丢失问题
java·数据库·sql·mysql·big
web1508541593517 小时前
大模型语料库的构建过程 包括知识图谱构建 垂直知识图谱构建 输入到sql构建 输入到cypher构建 通过智能体管理数据生产组件
sql·知识图谱·easyui
北顾南栀倾寒17 小时前
[MySQL]数据库表内容的增删查改操作大全
开发语言·数据库·sql·mysql
m0_748232921 天前
【SQL】掌握SQL查询技巧:数据分组与排序
java·jvm·sql
Zda天天爱打卡1 天前
【趣学SQL】第二章:高级查询技巧 2.1 复杂的 JOIN 操作——数据库世界的“社交达人“修炼手册
数据库·sql