Hive合并小文件

通过sql进行合并:

1、concatenate方法:

对于非分区表:alter table tablename concatenate

对于分区表:alter table partition(dt=20231201) concatenate

使用方便,但只适用于rcfile和orc文件类型,需要执行多次才能把文件合并成一个

2、insert overwriter方法

支持所有数据类型,但是select 后面要把所有字段拼起来,如果使用*,由于带有dt字段,无法写入新的分区。

3、insert overwrite table tablename select * 用法

从select * 中去掉一列(address)的方法:

insert overwriter table tablename select '(address)?+.+'from test

想合并成一个文件,分区字段必须去掉。

也可以通过参数合并

在map输入的时候合并小文件:

-- 每个Map最大输入大小,决定合并后的文件数

set mapred.max.split.size=256000000;

-- 一个节点上split的至少的大小 ,决定了多个data node上的文件是否需要合并

set mapred.min.split.size.per.node=100000000;

-- 一个交换机下split的至少的大小,决定了多个交换机上的文件是否需要合并

set mapred.min.split.size.per.rack=100000000;

-- 执行Map前进行小文件合并

set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

在reduce输出的的时候合并小文件:

-- 在map-only job后合并文件,默认true

set hive.merge.mapfiles = true;

-- 在map-reduce job后合并文件,默认false

set hive.merge.mapredfiles = true;

-- 合并后每个文件的大小,默认256000000

set hive.merge.size.per.task = 256000000;

-- 平均文件大小,是决定是否执行合并操作的阈值,默认16000000

set hive.merge.smallfiles.avgsize = 100000000;

相关推荐
计算机编程-吉哥17 小时前
大数据毕业设计-基于Python的中文起点网小说数据分析平台(高分计算机毕业设计选题·定制开发·真正大数据)
大数据·hadoop·计算机毕业设计选题·机器学习毕业设计·大数据毕业设计·大数据毕业设计选题推荐·大数据毕设项目
Agatha方艺璇19 小时前
Hive基础简介
数据仓库·hive·hadoop
IT研究室1 天前
大数据毕业设计选题推荐-基于大数据的国内旅游景点游客数据分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·数据可视化·bigdata
Lx3521 天前
YARN资源调度优化:最大化集群利用率
大数据·hadoop
Leo.yuan1 天前
不同数据仓库模型有什么不同?企业如何选择适合的数据仓库模型?
大数据·数据库·数据仓库·信息可视化·spark
chat2tomorrow1 天前
数据采集平台的起源与演进:从ETL到数据复制
大数据·数据库·数据仓库·mysql·低代码·postgresql·etl
isfox2 天前
Google GFS 深度解析:分布式文件系统的开山之作
大数据·hadoop
鼠鼠我捏,要死了捏2 天前
Hadoop NameNode内存泄漏与GC停顿问题排查与解决方案
hadoop·问题排查·jvm优化
嘉禾望岗5032 天前
Yarn介绍与HA搭建
大数据·hadoop·yarn