Hive sql执行文件合并配置参数

HIVE自动合并输出的小文件的主要优化手段为:HIVE将会启动一个独立的map-reduce任务进行输出文件的merge。

set hive.merge.mapfiles = true:

在只有map的作业结束时合并小文件,

set hive.merge.mapredfiles = true:

在Map-Reduce的任务结束时合并小文件,默认为False;

set hive.merge.size.per.task = 256000000;

合并后每个文件的大小,默认256M

set hive.merge.smallfiles.avgsize=16000000;

当输出文件的平均大小小于16M时合并。

set hive.merge.orcfile.stripe.level=false;

当设置为true,orc文件进行stripe Level级别的合并,当设置为false,orc文件进行文件级别的合并。

相关推荐
星辰离彬7 小时前
Java 与 MySQL 性能优化:MySQL 慢 SQL 诊断与分析方法详解
java·spring boot·后端·sql·mysql·性能优化
viperrrrrrrrrr78 小时前
大数据学习(132)-HIve数据分析
大数据·hive·学习
远方160915 小时前
21-Oracle 23 ai-Automatic SQL Plan Management(SPM)
数据库·sql·oracle
cookqq16 小时前
mongodb源码分析session执行handleRequest命令find过程
数据库·sql·mongodb·nosql
岁忧16 小时前
LeetCode 高频 SQL 50 题(基础版)之 【高级字符串函数 / 正则表达式 / 子句】· 下
sql·leetcode·正则表达式
写bug写bug17 小时前
SQL窗口函数原理和使用
后端·sql·mysql
浠寒AI19 小时前
PostgreSQL 与 SQL 基础:为 Fast API 打下数据基础
数据库·sql·postgresql
社恐码农19 小时前
Hive开窗函数的进阶SQL案例
hive·hadoop·sql
朝九晚五ฺ20 小时前
【MySQL基础】MySQL表操作全面指南:从创建到管理的深度解析
数据库·sql