Hive sql执行文件合并配置参数

HIVE自动合并输出的小文件的主要优化手段为:HIVE将会启动一个独立的map-reduce任务进行输出文件的merge。

set hive.merge.mapfiles = true:

在只有map的作业结束时合并小文件,

set hive.merge.mapredfiles = true:

在Map-Reduce的任务结束时合并小文件,默认为False;

set hive.merge.size.per.task = 256000000;

合并后每个文件的大小,默认256M

set hive.merge.smallfiles.avgsize=16000000;

当输出文件的平均大小小于16M时合并。

set hive.merge.orcfile.stripe.level=false;

当设置为true,orc文件进行stripe Level级别的合并,当设置为false,orc文件进行文件级别的合并。

相关推荐
小钻风33661 小时前
JavaWeb注解的原理
数据仓库·hive·hadoop
狂奔solar2 小时前
Vanna + qwq32b 实现 text2SQL
数据库·sql
CXH7282 小时前
hadoop伪分布式部署
大数据·hadoop·分布式
OceanBase数据库官方博客5 小时前
火山模型的优缺点与优化实践 | OceanBase SQL优化
sql·oceanbase·分布式数据库
Dav_209911 小时前
dav_1_MySQL数据库排查cpu消耗高的sql
数据库·sql·mysql
小诸葛的博客13 小时前
Go 语言中的select是做什么的
数据库·sql·golang
Gauss松鼠会14 小时前
GaussDB Plan Hint调优实战:从执行计划控制到性能优化
数据库·sql·性能优化·database·gaussdb
程序辕日记15 小时前
使用SQL查询ES数据
sql·elasticsearch·jenkins
zeijiershuai15 小时前
MySQL-SQL-DQL语句、DQL基本查询、DQL条件查询、DQL分组查询、聚合函数、DQL排序查询、DQL分页查询
数据库·sql·mysql
喵喵帕斯17 小时前
MySQL索引优化-show index
后端·sql·mysql