Hive sql执行文件合并配置参数

HIVE自动合并输出的小文件的主要优化手段为:HIVE将会启动一个独立的map-reduce任务进行输出文件的merge。

set hive.merge.mapfiles = true:

在只有map的作业结束时合并小文件,

set hive.merge.mapredfiles = true:

在Map-Reduce的任务结束时合并小文件,默认为False;

set hive.merge.size.per.task = 256000000;

合并后每个文件的大小,默认256M

set hive.merge.smallfiles.avgsize=16000000;

当输出文件的平均大小小于16M时合并。

set hive.merge.orcfile.stripe.level=false;

当设置为true,orc文件进行stripe Level级别的合并,当设置为false,orc文件进行文件级别的合并。

相关推荐
~ 小团子3 小时前
每日一SQL 【各赛事的用户注册率】
数据库·sql
小袁拒绝摆烂3 小时前
SQL开窗函数
android·sql·性能优化
~ 小团子3 小时前
每日一SQL 【每月交易 I】
数据库·sql
%Leo9 小时前
SQL判断先判断条件1是否符合,条件1不符合再判断条件2
数据库·sql
程序媛_9 小时前
【JMeter】执行SQL
数据库·sql·jmeter
He.ZaoCha10 小时前
多表查询-4-外连接
数据库·sql·mysql
张璐月13 小时前
mysql 散记:innodb引擎和memory引擎对比 sql语句少用函数 事务与长事务
数据库·sql·mysql
天上掉下来个程小白19 小时前
MybatisPlus-06.核心功能-自定义SQL
java·spring boot·后端·sql·微服务·mybatisplus
熊猫钓鱼>_>1 天前
Hadoop 用户入门指南:驾驭大数据的力量
大数据·hadoop·分布式