Hive sql执行文件合并配置参数

HIVE自动合并输出的小文件的主要优化手段为:HIVE将会启动一个独立的map-reduce任务进行输出文件的merge。

set hive.merge.mapfiles = true:

在只有map的作业结束时合并小文件,

set hive.merge.mapredfiles = true:

在Map-Reduce的任务结束时合并小文件,默认为False;

set hive.merge.size.per.task = 256000000;

合并后每个文件的大小,默认256M

set hive.merge.smallfiles.avgsize=16000000;

当输出文件的平均大小小于16M时合并。

set hive.merge.orcfile.stripe.level=false;

当设置为true,orc文件进行stripe Level级别的合并,当设置为false,orc文件进行文件级别的合并。

相关推荐
编程自留地9 小时前
项目sql语句
前端·数据库·sql
2301_800976939 小时前
数据库的基本操作后续
java·数据库·sql
思麟呀13 小时前
Epoll的学习,在select和poll的基础上
网络·数据库·sql·学习·tcp/ip
猫的玖月15 小时前
SQL语法简介
数据库·sql·oracle
禹凕16 小时前
MYSQL——基础知识(SQL的临时表和克隆表)
sql·mysql
空空潍17 小时前
MySQL索引不生效?一文理解CBO成本模型
数据库·sql·mysql
IRevers17 小时前
【Agent】基于Langchain的Agent数据库查询助手
数据库·人工智能·pytorch·sql·深度学习·langchain·agent
他是龙55117 小时前
DVWA SQL 注入全级别通关笔记(Low / Medium / High / Impossible)
数据库·笔记·sql
treacle田18 小时前
达梦数据库-快速装载工具dmfldr-记录总结
数据库·sql·达梦快速装载dmfldr
juniperhan1 天前
Flink 系列第17篇:Flink Table&SQL 核心概念、原理与实战详解
大数据·数据仓库·分布式·sql·flink