Hive sql执行文件合并配置参数

HIVE自动合并输出的小文件的主要优化手段为:HIVE将会启动一个独立的map-reduce任务进行输出文件的merge。

set hive.merge.mapfiles = true:

在只有map的作业结束时合并小文件,

set hive.merge.mapredfiles = true:

在Map-Reduce的任务结束时合并小文件,默认为False;

set hive.merge.size.per.task = 256000000;

合并后每个文件的大小,默认256M

set hive.merge.smallfiles.avgsize=16000000;

当输出文件的平均大小小于16M时合并。

set hive.merge.orcfile.stripe.level=false;

当设置为true,orc文件进行stripe Level级别的合并,当设置为false,orc文件进行文件级别的合并。

相关推荐
Yupureki1 小时前
《实战项目-个人在线OJ平台》1.项目简介和演示
c语言·数据结构·c++·sql·算法·性能优化·html5
常利兵1 小时前
Android 开发探秘:View.post()为何能获取View宽高
java·数据库·sql
hutengyi4 小时前
开源的Text-to-SQL工具WrenAI
数据库·sql·开源
Leo655354 小时前
动态 SQL(行+列) + 动态表头(前端+EasyPoi) = 完整透视报表系统
前端·sql·状态模式
你才是臭弟弟4 小时前
PostgreSQL + PostGIS(SQL操作)
数据库·sql·postgresql
麦聪聊数据4 小时前
金融外包场景下的数据库权限管控:基于 B/S 架构的访问隔离与审计实践
数据库·sql·低代码·金融·restful
slyybw5 小时前
MySQL SQL语句
sql·mysql·oracle
添柴少年yyds5 小时前
hive锁机制
数据仓库·hive·hadoop
蓝眸少年CY6 小时前
Hive - 安装与使用
数据仓库·hive·hadoop
想七想八不如1140816 小时前
数据库--样题复习
数据库·sql·oracle