Hive sql执行文件合并配置参数

HIVE自动合并输出的小文件的主要优化手段为:HIVE将会启动一个独立的map-reduce任务进行输出文件的merge。

set hive.merge.mapfiles = true:

在只有map的作业结束时合并小文件,

set hive.merge.mapredfiles = true:

在Map-Reduce的任务结束时合并小文件,默认为False;

set hive.merge.size.per.task = 256000000;

合并后每个文件的大小,默认256M

set hive.merge.smallfiles.avgsize=16000000;

当输出文件的平均大小小于16M时合并。

set hive.merge.orcfile.stripe.level=false;

当设置为true,orc文件进行stripe Level级别的合并,当设置为false,orc文件进行文件级别的合并。

相关推荐
大布布将军6 小时前
⚡️ 深入数据之海:SQL 基础与 ORM 的应用
前端·数据库·经验分享·sql·程序人生·面试·改行学it
唐人街都是苦瓜脸6 小时前
踩坑记:ORA-01722 无效数字错误排查与解决(附实战案例)
sql·oracle
Hello.Reader10 小时前
Flink SQL Materialized Table 语句CREATE / ALTER / DROP介绍
数据库·sql·flink
墨者阳11 小时前
数据库的自我修炼
数据库·sql·缓存·性能优化
小韩博14 小时前
小迪第42课:PHP应用&MYSQL架构&SQL注入&跨库查询&文件读写&权限操作
sql·mysql·网络安全·架构·php
猫豆~17 小时前
Ansible自动运维——6day
linux·数据库·sql·缓存·云计算
last_zhiyin18 小时前
Oracle sql tuning guide 翻译 Part 4-1 --- 连接操作(Joins)
数据库·sql·oracle
-suiyuan-18 小时前
sqli-labs靶场1~2笔记
数据库·sql
xerthwis19 小时前
Hadoop:大数据世界的“古老基石”与“沉默的共生者”
大数据·人工智能·hadoop
爱好读书19 小时前
AI生成ER图|SQL生成ER图
数据库·人工智能·sql·毕业设计·课程设计