Hive小文件合并

作者:振鹭

一、参数配置:

在Map输入的时候, 把小文件合并。

bash 复制代码
-- 每个Map最大输入大小,决定合并后的文件数
set mapred.max.split.size=256000000;
-- 一个节点上split的至少的大小 ,决定了多个data node上的文件是否需要合并
set mapred.min.split.size.per.node=100000000;
-- 一个交换机下split的至少的大小,决定了多个交换机上的文件是否需要合并
set mapred.min.split.size.per.rack=100000000;
-- 执行Map前进行小文件合并
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

在Reduce输出的时候, 把小文件合并。

bash 复制代码
-- 在map-only job后合并文件,默认true
set hive.merge.mapfiles = true;
-- 在map-reduce job后合并文件,默认false
set hive.merge.mapredfiles = true;
-- 合并后每个文件的大小,默认256000000
set hive.merge.size.per.task = 256000000;
-- 平均文件大小,是决定是否执行合并操作的阈值,默认16000000
set hive.merge.smallfiles.avgsize = 100000000;

Hadoop的归档文件格式。

bash 复制代码
set  hive.archive.enabled=  true ;
set  hive.archive.har.parentdir.settable=  true ;
set  har.partfile.size=1099511627776;
ALTER   TABLE  srcpart ARCHIVE PARTITION(ds=  '2008-04-08' , hr=  '12'  );
ALTER   TABLE  srcpart UNARCHIVE PARTITION(ds=  '2008-04-08' , hr=  '12'  );

二、sql合并:

concatenate

bash 复制代码
--对于非分区表
alter table tablename concatenate;
--对于分区表
alter table tablename partition(dt=20201224) concatenate;

insert overwrite

bash 复制代码
--select 的字段需要自己拼起来,select * 的话,由于带有dt字段,无法写入新分区。
insert overwrite table tableName partition(dt=2022031100)
select
column1,column2
from
tableName
where dt=2022031100

insert overwrite select *
--用这个方法就能去掉分区表的日期字段
set hive.support.quoted.identifiers=none;
insert overwrite test1 select (字段)?+.+ from test;

更多技术信息请查看云掣官网https://yunche.pro/?t=yrgw

相关推荐
脑子不好真君1 小时前
hadoop-mapreduce词频统计
hadoop·mapreduce·词频统计
小羽Jary10 小时前
修复HIve表乱码问题
数据仓库·hive·hadoop
易云码10 小时前
医疗数据质量安全,数据安全解决方案,医院关心的数据安全问题,信息安全方案(Word原件)
大数据·数据仓库·安全·系统安全·智慧城市
Yz987613 小时前
Hive的基础函数
大数据·数据仓库·hive·hadoop·数据库开发·big data
李昊哲小课13 小时前
springboot整合hive
大数据·数据仓库·hive·spring boot·后端·数据分析
暮暮七14 小时前
hive和spark读写分区表NULL列
大数据·linux·hive·hadoop·sql·spark
Lostgreen15 小时前
SQL on Hadoop
数据库·hadoop·笔记·分布式·sql·学习
B站计算机毕业设计超人16 小时前
计算机毕业设计Hadoop+Spark音乐推荐系统 音乐预测系统 音乐可视化大屏 音乐爬虫 HDFS hive数据仓库 机器学习 深度学习 大数据毕业设计
大数据·hadoop·爬虫·python·深度学习·spark·数据可视化
hankl19901 天前
Hive-定时清理无用的临时表
数据仓库·hive·hadoop
soso19681 天前
构建与优化数据仓库-实践指南
大数据·数据仓库·人工智能