Hive sql执行文件合并配置参数

HIVE自动合并输出的小文件的主要优化手段为:HIVE将会启动一个独立的map-reduce任务进行输出文件的merge。

set hive.merge.mapfiles = true:

在只有map的作业结束时合并小文件,

set hive.merge.mapredfiles = true:

在Map-Reduce的任务结束时合并小文件,默认为False;

set hive.merge.size.per.task = 256000000;

合并后每个文件的大小,默认256M

set hive.merge.smallfiles.avgsize=16000000;

当输出文件的平均大小小于16M时合并。

set hive.merge.orcfile.stripe.level=false;

当设置为true,orc文件进行stripe Level级别的合并,当设置为false,orc文件进行文件级别的合并。

相关推荐
一江寒逸1 天前
零基础从入门到精通MySQL(上篇):筑基篇——吃透核心概念与基础操作,打通SQL入门第一关
数据库·sql·mysql
流觞 无依1 天前
DedeCMS plus/download.php SQL注入漏洞修复教程
sql·php
不会写DN1 天前
SQL 多表操作全解
数据库·sql
瀚高PG实验室1 天前
ETL中,分区表子表未及时收集统计信息,导致sql执行耗时很长
数据库·数据仓库·sql·etl·瀚高数据库
仗剑_走天涯1 天前
hadoop reduce阶段 对象重用问题
大数据·hadoop·分布式
星川水月1 天前
SQL 开窗函数排序详解
数据库·sql
VIV-1 天前
医院病房管理系统的数据库设计(SQL Server)
数据库·sql·sqlserver
仗剑_走天涯1 天前
hadoop 中 yarn node -list 显示0 问题解决
大数据·hadoop·分布式
摆烂z1 天前
spEL语法替换sql值
java·数据库·sql
AKA__Zas1 天前
SQL查询技巧全 Strategy Guide
数据库·sql·学习方法