Hive sql执行文件合并配置参数

HIVE自动合并输出的小文件的主要优化手段为:HIVE将会启动一个独立的map-reduce任务进行输出文件的merge。

set hive.merge.mapfiles = true:

在只有map的作业结束时合并小文件,

set hive.merge.mapredfiles = true:

在Map-Reduce的任务结束时合并小文件,默认为False;

set hive.merge.size.per.task = 256000000;

合并后每个文件的大小,默认256M

set hive.merge.smallfiles.avgsize=16000000;

当输出文件的平均大小小于16M时合并。

set hive.merge.orcfile.stripe.level=false;

当设置为true,orc文件进行stripe Level级别的合并,当设置为false,orc文件进行文件级别的合并。

相关推荐
£菜鸟也有梦8 小时前
Flume进阶之路:从基础到高阶的飞跃
大数据·hive·hadoop·flume
在未来等你8 小时前
SQL进阶之旅 Day 23:事务隔离级别与性能优化
sql·mysql·postgresql·高并发·数据一致性·数据库优化·事务隔离
_Chipen10 小时前
6.10 - 常用 SQL 语句以及知识点
数据库·sql·oracle
青春之我_XP11 小时前
【SQL学习笔记1】增删改查+多表连接全解析(内附SQL免费在线练习工具)
数据库·sql
厚衣服_317 小时前
第7篇:中间件全链路监控与 SQL 性能分析实践
数据库·sql·中间件
Kookoos18 小时前
ABP vNext + Hive 集成:多租户大数据 SQL 查询与报表分析
大数据·hive·sql·.net·abp vnext
恰薯条的屑海鸥20 小时前
SQL注入篇-sqlmap的配置和使用
数据库·sql·安全·web安全·渗透测试·网络安全学习
琪阿不会编程1 天前
Mysql8 忘记密码重置,以及问题解决
android·数据库·sql·mysql
星辰离彬1 天前
Java 与 MySQL 性能优化:MySQL 慢 SQL 诊断与分析方法详解
java·spring boot·后端·sql·mysql·性能优化
viperrrrrrrrrr71 天前
大数据学习(132)-HIve数据分析
大数据·hive·学习