Hive实战-表创建

Hive实战-表创建

使用ORC压缩储存空间

什么是ORC?

ORC的全称是(Optimized Row Columnar),ORC文件格式是一种Hadoop生态圈中的列式存储格式。

  • ORC是列式存储,有多种文件压缩方式,并且有着很高的压缩比。
  • 文件是可切分(Split)的。因此,在Hive中使用ORC作为表的文件存储格式,不仅节省HDFS存储资源,查询任务的输入数据量减少,使用的MapTask也就减少了。
  • 提供了多种索引,row group index、bloom filter index。
  • ORC可以支持复杂的数据结构(比如Map等)
sql 复制代码
CREATE TABLE IF NOT EXISTS `table_name`
( 
  `id` string,  
  xxx
  ) 
PARTITIONED BY (  
  `part` string COMMENT '分区') 
ROW FORMAT SERDE  
  'org.apache.hadoop.hive.ql.io.orc.OrcSerde'  
STORED AS INPUTFORMAT  
  'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'  
OUTPUTFORMAT  
  'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat' 

对比默认数据储存格式

sql 复制代码
ROW FORMAT SERDE
org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
STORED AS INPUTFORMAT
'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

通过实测,储存空间被压缩为默认的1/3。

相关推荐
ApacheSeaTunnel1 天前
新兴数据湖仓手册·从分层架构到数据湖仓架构(2025):数据仓库分层的概念与设计
大数据·数据仓库·开源·数据湖·dataops·白鲸开源·底层技术
洛克大航海1 天前
Ubuntu中使用Hadoop的HDFS和MapReduce
hadoop·ubuntu·hdfs·mapreduce
夫唯不争,故无尤也2 天前
Maven创建Java项目实战全流程
java·数据仓库·hive·hadoop·maven
想ai抽2 天前
深入starrocks-怎样实现多列联合统计信息
java·数据库·数据仓库
还是大剑师兰特2 天前
Hadoop面试题及详细答案 110题 (71-85)-- 集群部署与运维
大数据·hadoop·大剑师·hadoop面试题
派可数据BI可视化2 天前
商业智能BI与业务结构分析
大数据·数据仓库·信息可视化·数据分析·商业智能bi
_清浅2 天前
大数据平台基础(Hadoop大数据原理与应用)
大数据·hadoop·分布式
The Sheep 20232 天前
WPF自定义路由事件
大数据·hadoop·wpf
还是大剑师兰特2 天前
Hadoop面试题及详细答案 110题 (86-95)-- Hadoop生态系统工具
hadoop·大剑师·hadoop面试题
yumgpkpm2 天前
CMP (类Cloudera) CDP7.3(400次编译)在华为鲲鹏Aarch64(ARM)信创环境中的性能测试过程及命令
大数据·hive·hadoop·python·elasticsearch·spark·cloudera