HiveSQL基础Day02

接上文☝️☝️☝️

一、表的分区

意义:大数据开数据量较大,在进行数据查询计算时,需要对数据进行拆分,提升的查询速度

1、分区表的种类

单个分区

多个分区

2、分区表的增删改查

  • 查看分区表的分区信息 show partition 表名
  • 生成分区数据信息 通过insert数据导入,生成对应的数据

通过ADD方法直接指定分区,指定后会在对应表目录下生成分区目录

alter table 表名 add partition(字段名=)

  • 修改分区名称 alter table 表名 partition (旧字段名=) rename to partition (新字段名)
  • 删除分区 alter table 表名 drop partition (字段名=)

二、表的分桶

区别:

分区:将数据拆分不同目录下存储

分桶:将数据拆分不同文件进行存储

使用分桶时=

clustered by(字段) into 桶数量 buckets row format delimited fields terminated by ','

插入原始数据表的数据写入到分桶表

insert into 表名 select *

三、数据文件的读取和写入

1、默认化序列器

字段的处理方法 fields terminated by

数组的处理方法 collection items terminated by

Map的处理方法 map keys terminated by

语句处理:

select split(字段,'-')

select 'map'('name',split(hobby,'-')0)

在进行表定义时指定row format delimited

这几个方法主要对文件数据读取时,方便区分不同数据内容

2、自定义序列化器

可以使用自定义序列化器中提供jar包完成对json数据的处理

可以将json文件中的数据key最为字段,将value值解析为对应的行数据

row format serde 'org.apache.hive.hcatalog.data.JsonSerDe';

四、内置函数

1、定义

是hive提供的函数方法,方便对不同类型的字段数据进行操作

2、字符串操作函数

计算字符串长度 length()

字符串拼接 concat( , )

字符串切割 split(字段,'-') 再用下标取值

字符串截取 substr(字段,1(从一开始),4(四个字符))

字符串替换 regexp_replace(字段,'-','/')

去除前后空格 trim

3、 数值操作函数

    • * / %(取余)

向上取整 ceil

向下取整 floor

次方计算 pow

4、条件判断

1、单条件判断 if()

2、多条件判断 case

when then

end as

3、判断是否为空: nullif(字段1,字段2) 如果相等返回null 不相等返回字段1

相关推荐
龙腾AI白云2 小时前
数字孪生与计算机视觉:让机器看懂现场
大数据·数据库·机器学习·知识图谱·pygame
千寻技术帮3 小时前
基于Spring Boot+Vue的农产品销售管理系统(源码+文档+数据库,附部署教程)
java·数据库·spring boot·后端·mysql·vue
千寻技术帮4 小时前
50055_基于AI的互帮互助小程序(源码+文档+数据库脚本+部署教程)
数据库·人工智能·小程序·毕业设计·springboot·课程设计
Star(up up up)5 小时前
MySQL 事务隔离级别是如何实现的?从 MVCC 到锁机制原理详解
笔记·vscode·sql·学习·程序人生·mysql·学习方法
CoderYanger5 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第七弹):图书管理系统(强制登录)
java·数据库·spring boot·spring·java-ee·tomcat·mybatis
Flynn Liang5 小时前
多智能体协同不再复杂:Redis Stream 消费者组、幂等与故障恢复
数据库·人工智能·redis·缓存·ai agent·智能体
倔强的胡萝卜6 小时前
基于STM32F103C8T6的温湿度报警器设计
数据库·stm32·mongodb
Decay__14 小时前
PostgreSQL 数据库全栈运维实战系列 — 合集索引(24 篇)
运维·数据库·sql·mysql·架构
武昌库里写JAVA14 小时前
SpringBoot+Vue 项目介绍
java·javascript·git·sql·ai
琳少_18 小时前
java程序开发笔记
java·开发语言·数据库·笔记