Hive sql执行文件合并配置参数

HIVE自动合并输出的小文件的主要优化手段为:HIVE将会启动一个独立的map-reduce任务进行输出文件的merge。

set hive.merge.mapfiles = true:

在只有map的作业结束时合并小文件,

set hive.merge.mapredfiles = true:

在Map-Reduce的任务结束时合并小文件,默认为False;

set hive.merge.size.per.task = 256000000;

合并后每个文件的大小,默认256M

set hive.merge.smallfiles.avgsize=16000000;

当输出文件的平均大小小于16M时合并。

set hive.merge.orcfile.stripe.level=false;

当设置为true,orc文件进行stripe Level级别的合并,当设置为false,orc文件进行文件级别的合并。

相关推荐
杨云龙UP6 小时前
【MySQL逻辑备份】基于mysqldump的MySQL 8.0全量逻辑备份脚本
linux·运维·数据库·sql·mysql·mssql
稚辉君.MCA_P8_Java6 小时前
通义千问 SpringBoot 性能优化全景设计(面向 Java 开发者)
大数据·hadoop·spring boot·分布式·架构
沧海寄馀生6 小时前
Apache Hadoop生态组件部署分享-zookeeper
hadoop·zookeeper·eclipse·apache·java-zookeeper
百度Geek说7 小时前
百度大数据成本治理实践
hadoop·spark
ptc学习者8 小时前
oracle 列的直方图
数据库·sql·mysql
驾数者8 小时前
DDL实战指南:如何定义和管理动态表
大数据·sql·flink
BD_Marathon10 小时前
Hive初始化元数据库时报错:Unknown version specified for initialization: 3.1.0
数据库·hive·hadoop
wind_one113 小时前
13.基础--SQL--DQL-聚合函数
数据库·sql
面向星辰15 小时前
SQL LIKE 相似信息查找语句
数据库·sql
颜如玉1 天前
动态拼接SQL实践备忘📝
java·sql·mybatis