Hive sql执行文件合并配置参数

HIVE自动合并输出的小文件的主要优化手段为:HIVE将会启动一个独立的map-reduce任务进行输出文件的merge。

set hive.merge.mapfiles = true:

在只有map的作业结束时合并小文件,

set hive.merge.mapredfiles = true:

在Map-Reduce的任务结束时合并小文件,默认为False;

set hive.merge.size.per.task = 256000000;

合并后每个文件的大小,默认256M

set hive.merge.smallfiles.avgsize=16000000;

当输出文件的平均大小小于16M时合并。

set hive.merge.orcfile.stripe.level=false;

当设置为true,orc文件进行stripe Level级别的合并,当设置为false,orc文件进行文件级别的合并。

相关推荐
德彪稳坐倒骑驴42 分钟前
Hive SQL常遗忘的命令
hive·hadoop·sql
山峰哥43 分钟前
3000字深度解析:SQL调优如何让数据库查询效率提升10倍
java·服务器·数据库·sql·性能优化·编辑器
b***59431 小时前
mysql 迁移达梦数据库出现的 sql 语法问题 以及迁移方案
数据库·sql·mysql
Justice Young1 小时前
Hive第六章:Hive Optimization and Miscellaneous
数据仓库·hive·hadoop
l1t2 小时前
格式化SQL工具pg_prettify
数据库·sql
·云扬·2 小时前
MySQL四大系统库详解:作用、核心表与实用SQL查询
android·sql·mysql
奔波霸的伶俐虫2 小时前
redisTemplate.opsForList()里面方法怎么用
java·开发语言·数据库·python·sql
Bug.ink2 小时前
BUUCTF——WEB(6)
数据库·sql·网络安全·靶场·buuctf
Justice Young2 小时前
Hive第五章:Integeration with HBase
大数据·数据仓库·hive·hbase
Justice Young2 小时前
Hive第三章:HQL的使用
大数据·数据仓库·hive·hadoop