Hive sql执行文件合并配置参数

HIVE自动合并输出的小文件的主要优化手段为:HIVE将会启动一个独立的map-reduce任务进行输出文件的merge。

set hive.merge.mapfiles = true:

在只有map的作业结束时合并小文件,

set hive.merge.mapredfiles = true:

在Map-Reduce的任务结束时合并小文件,默认为False;

set hive.merge.size.per.task = 256000000;

合并后每个文件的大小,默认256M

set hive.merge.smallfiles.avgsize=16000000;

当输出文件的平均大小小于16M时合并。

set hive.merge.orcfile.stripe.level=false;

当设置为true,orc文件进行stripe Level级别的合并,当设置为false,orc文件进行文件级别的合并。

相关推荐
星沙丘秋5 小时前
Kettle9入门、使用经验与5个问题
数据库·sql·etl
山岚的运维笔记5 小时前
SQL Server笔记 -- 第16章:MERGE
java·笔记·sql·microsoft·sqlserver
sg_knight5 小时前
如何通过 SQL*Plus 连接 Oracle 数据库(使用 Instant Client)
运维·数据库·sql·oracle·database·关系型数据库·sql puls
不剪发的Tony老师6 小时前
Chartbrew:一个开源的数据可视化平台
sql·数据分析·可视化
寻道码路7 小时前
【MCP探索实践】Google GenAI Toolbox:Google开源的企业级AI数据库中间件、5分钟搞定LLM-SQL安全互联
数据库·人工智能·sql·开源·aigc
QQ828929QQ7 小时前
MySQL Explain 分析 SQL 执行计划
数据库·sql·mysql
放弃 治疗7 小时前
Windows 11 系统 Oracle PLSQL 工具(PL/SQL Developer 最新版本)完整安装与配置教程
数据库·sql
IvanCodes7 小时前
openGauss 实战手册:gsql 常用命令、认证配置与运维工具全解
大数据·数据库·sql·opengauss
冰暮流星7 小时前
sql语言之where in语句
数据库·sql
TTBIGDATA8 小时前
【Ranger】Ranger Admin 配置 Knox 策略时出现,the trustAnchors parameter must be non-empty
大数据·hadoop·ambari·kerberos·ranger·knox·bigtop