Hive sql执行文件合并配置参数

HIVE自动合并输出的小文件的主要优化手段为:HIVE将会启动一个独立的map-reduce任务进行输出文件的merge。

set hive.merge.mapfiles = true:

在只有map的作业结束时合并小文件,

set hive.merge.mapredfiles = true:

在Map-Reduce的任务结束时合并小文件,默认为False;

set hive.merge.size.per.task = 256000000;

合并后每个文件的大小,默认256M

set hive.merge.smallfiles.avgsize=16000000;

当输出文件的平均大小小于16M时合并。

set hive.merge.orcfile.stripe.level=false;

当设置为true,orc文件进行stripe Level级别的合并,当设置为false,orc文件进行文件级别的合并。

相关推荐
释怀°Believe6 小时前
javaweb
数据库·sql·oracle
wuxuanok7 小时前
ThinkPHP ——安装部署与配置
sql·mysql·nginx·php
孟意昶11 小时前
Doris专题27-mysql兼容性与join连接
大数据·数据库·分布式·sql·mysql·doris
大叔_爱编程12 小时前
基于大数据的短视频用户兴趣分析-hive+django+spider
大数据·hive·django·毕业设计·源码·课程设计·spider
思成不止于此12 小时前
MySQL 查询基础(一):列选择、算数运算与别名使用
数据库·笔记·sql·学习·oracle
张人玉13 小时前
大数据hadoop系列——在ubuntu上安装HBase 伪分布式
大数据·hadoop·分布式·hbase
拾起零碎14 小时前
U8/用户权限合并查询
sql
大卫小东(Sheldon)14 小时前
SQL查询中的窗口函数(主要以 PostgreSQL 为例)
大数据·sql·postgre
SadSunset14 小时前
(15)动态SQL中的if,foreach和一些其他的常用标签
数据库·python·sql
张人玉14 小时前
大数据Hadoop系列——在ubuntu上安装pig数据库
大数据·hadoop·ubuntu·pig