hive中with as用法及注意事项

一、with...as语句说明

wih语句,允许hive定义一个sql片段,供整个sql使用,会将这个片段产生的结果集保存在内存中,后续的sql均可以访问这个结果集,作用与视图或临时表类似。

【注】目前 oracle、sql server、hive等均支持 with as 用法,但 mysql并不支持!

二、注意事项

1、with 语句是一次性的,相当于建立了一张临时虚拟表,但不会被物理创建,用完即销毁

2、每一个with语句,单独成为一个子模块,最后使用基础表将它们串联起来。这里必须要整体作为一条sql查询,即with as语句后不能加分号,不然会报错

3、with as允许跟多个子句,用逗号隔开,最后一个子句与后面的查询语句之间只能用右括号分隔,不能用逗号

sql 复制代码
create table a as
with t1 as (select * from firstTable),
t2 as (select * from secondTable),
t3 as (select * from thirdTable)
select * from t1,t2,t3;

4、with...as语句必须和其他sql一起使用,如果定义了wih子句,但其后没有跟selec查询,则会报错

sql 复制代码
with t1 as (select * from table1)   -- 该语句执行会报错

-- 正确写法:(没有使用 t1没关系,其后有select就行)
with t1 as (select * from table1)
select * from table1

5、前面的with子句定义的查询在后面的with子句中可以使用。但是一个with子句内部不能嵌套with子句

sql 复制代码
with t1 as (select * from table1),
t2 as (select t1.id from t1)
select * from t2

6、with不适合过大的表,会落盘,频繁shuffle ,过大时直接落表更好。

7、with as 是提高了可读性,可若是后面多次利用这个片段,那完整的SQL就会异常庞大,放在大数据Hive中,job数量甚至会翻几倍,这也是一个坑,所以适用情况得看自己权衡。

相关推荐
AI源码1 天前
基于 Hadoop 和 Hive 的旅游景区数据的分析与可视化系统
hive·hadoop·旅游
DataY轻量数据平台3 天前
任务调度的三种模式:什么时候跑、按什么顺序跑、等谁跑完
数据仓库·etl
演艺大赏3 天前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
宽海智能仓储物流3 天前
宽海智能WCS系统常见问题全解析:从选型对接、运维定制到降本增效
运维·数据仓库·自动化
starzy19903 天前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
演艺大赏4 天前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
演艺大赏4 天前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
吾AI科技6 天前
基于Tez引擎的 Hive SQL 性能优化 —— 为什么脚本运行越来越慢
大数据·hive·性能优化·tez
上海潭龙东海科技有限公司7 天前
客运站管控之动态孪生技术方案(新增一屏管控模块
数据仓库·人工智能·算法·重构·动态规划
freejackman11 天前
【工程化】从“单兵作战”到“多引擎架构”:基于门面模式的重构实战
大数据·数据库·hive·sql·测试工具·设计模式·架构