Hive sql执行文件合并配置参数

HIVE自动合并输出的小文件的主要优化手段为:HIVE将会启动一个独立的map-reduce任务进行输出文件的merge。

set hive.merge.mapfiles = true:

在只有map的作业结束时合并小文件,

set hive.merge.mapredfiles = true:

在Map-Reduce的任务结束时合并小文件,默认为False;

set hive.merge.size.per.task = 256000000;

合并后每个文件的大小,默认256M

set hive.merge.smallfiles.avgsize=16000000;

当输出文件的平均大小小于16M时合并。

set hive.merge.orcfile.stripe.level=false;

当设置为true,orc文件进行stripe Level级别的合并,当设置为false,orc文件进行文件级别的合并。

相关推荐
百***87443 小时前
【MySQL】SQL菜鸟教程(一)
sql·mysql·oracle
秃头菜狗3 小时前
十八、在slave01节点上安装Hadoop
服务器·hadoop·eclipse
学习中的程序媛~4 小时前
Spring 事务(@Transactional)与异步(@Async / CompletableFuture)结合的陷阱与最佳实践
java·数据库·sql
老葱头蒸鸡5 小时前
(4)Kafka消费者分区策略、Rebalance、Offset存储机制
sql·kafka·linq
员大头硬花生5 小时前
九、InnoDB引擎-MVCC
数据库·sql·mysql
q***3756 小时前
Spring Boot 从 2.7.x 升级到 3.3注意事项
数据库·hive·spring boot
羑悻的小杀马特8 小时前
openGauss 数据库快速上手评测:从 Docker 安装到SQL 实战
数据库·sql·docker·opengauss
德迅云安全-小潘8 小时前
SQL:从数据基石到安全前线的双重审视
数据库·sql·安全
百***06949 小时前
SQL JOIN:内连接、外连接和交叉连接(代码+案例)
数据库·sql·oracle
_Minato_12 小时前
数据库知识整理——SQL数据更新
数据库·sql