Hive sql执行文件合并配置参数

HIVE自动合并输出的小文件的主要优化手段为:HIVE将会启动一个独立的map-reduce任务进行输出文件的merge。

set hive.merge.mapfiles = true:

在只有map的作业结束时合并小文件,

set hive.merge.mapredfiles = true:

在Map-Reduce的任务结束时合并小文件,默认为False;

set hive.merge.size.per.task = 256000000;

合并后每个文件的大小,默认256M

set hive.merge.smallfiles.avgsize=16000000;

当输出文件的平均大小小于16M时合并。

set hive.merge.orcfile.stripe.level=false;

当设置为true,orc文件进行stripe Level级别的合并,当设置为false,orc文件进行文件级别的合并。

相关推荐
祖传F871 小时前
SQL DATE()函数会抹去时间戳
数据库·sql
BduL OWED3 小时前
SQL进阶——JOIN操作详解
数据库·sql·oracle
ERBU DISH4 小时前
修改表字段属性,SQL总结
java·数据库·sql
cyber_两只龙宝5 小时前
【Oracle】 Oracle之SQL的子查询
linux·运维·数据库·sql·云原生·oracle
菜鸟小码5 小时前
Hive数据模型、架构、表类型与优化策略
hive·hadoop·架构
一只fish6 小时前
SQL 性能优化实战:从入门到极致的七重境界
数据库·sql·性能优化
NCIN EXPE6 小时前
SQL sever数据导入导出实验
数据库·sql·oracle
OtIo TALL7 小时前
SQL-触发器(trigger)的详解以及代码演示
服务器·数据库·sql
RNEA ESIO7 小时前
SQL中的REGEXP正则表达式使用指南
数据库·sql·正则表达式
IT从业者张某某10 小时前
基于Docker的hadoop容器安装hive并测试
hive·hadoop·docker