Hive sql执行文件合并配置参数

HIVE自动合并输出的小文件的主要优化手段为:HIVE将会启动一个独立的map-reduce任务进行输出文件的merge。

set hive.merge.mapfiles = true:

在只有map的作业结束时合并小文件,

set hive.merge.mapredfiles = true:

在Map-Reduce的任务结束时合并小文件,默认为False;

set hive.merge.size.per.task = 256000000;

合并后每个文件的大小,默认256M

set hive.merge.smallfiles.avgsize=16000000;

当输出文件的平均大小小于16M时合并。

set hive.merge.orcfile.stripe.level=false;

当设置为true,orc文件进行stripe Level级别的合并,当设置为false,orc文件进行文件级别的合并。

相关推荐
白日做梦Q4 小时前
【MySQL】9.吃透关键SQL语法:从正则表达式、窗口函数、条件函数到结果集合并的实战拆解
数据库·sql·mysql·正则表达式
冰冰菜的扣jio5 小时前
SQL语句是如何在MySQL中执行的
数据库·sql
么么...5 小时前
掌握 MySQL:数据类型、数据定义语言DDL、数据操作语言DML
数据库·经验分享·sql·mysql
zhengfei6116 小时前
绿盟运维安全管理系统SQL注入漏洞
运维·sql·安全
白帽子凯哥哥7 小时前
2026零基础如何参与护网行动?(非常详细)
数据库·sql·学习·漏洞·xss
hgz07107 小时前
MySQL索引数据结构:B+树 vs 哈希索
数据库·sql·mysql
yumgpkpm8 小时前
Cloudera CDP 7.3(国产CMP 鲲鹏版)平台与银行五大平台的技术对接方案
大数据·人工智能·hive·zookeeper·flink·kafka·cloudera
AI_56788 小时前
从“单文件存储”到“PB级集群”——HDFS如何让大数据“躺平”存储
大数据·hadoop·hdfs
程序猿20238 小时前
SQL性能优化-2
数据库·sql
么么...9 小时前
掌握 MySQL:约束、范式与视图详解
数据库·经验分享·sql·mysql