Spark产生小文件的原因及解决方案

一、小文件的定义

Hadoop集群中的文件都是以块(Block)的形式存储在分布式文件系统(HDFS)中的,而Block的默认大小设置随着Hadoop的版本迭代经历了64MB、128MB、256MB,其大小实际受制于磁盘/网络的传输速率。当Block的大小为128MB时,若一个文件的大小显著小于128MB,我们就称之为小文件。

二、小文件产生过多的原因

  1. **写操作不当:**如果在写数据时,设置的分区策略不当,或者没有指定合适的压缩策略,则可能产生大量小文件。
  2. **数据倾斜:**如果spark任务处理的数据,某一个分区的数据量远远大于其他分区时,可能会导致该分区产生大量小文件。
  3. 其他待验证原因。

三、小文件过多的影响

  1. **对NameNode产生压力:**HDFS中的每个文件都需要在NameNode里维护一份元数据信息(文件目录、大小等信息),大量小文件则会占用过多的NameNode内存,影响集群稳定性。
  2. **增加文件读取时间:**如果某个表在HDFS中存放有大量的小文件,在访问该表获取数据时,需要先从NameNode获取元数据信息,再从DataNode读取对应数据,大量的小文件会导致频繁访问,影响读写效率。
  3. **容易导致task数量过多,且影响计算性能:**spark计算时,每个小文件通常被视为一个单独的分区,而spark会为每个分区启动一个或多个task来进行计算,大量小文件会导致启动过多的task,有可能导致内存超出报错(Total size of serialized results of * tasks is bigger than spark.driver.maxResultSize);其次,每个task的启动和销毁也会消耗时间,影响效率。

四、小文件合并方案

  • distribute by rand()

distribute by可以确保相同键值的数据分配到相同的分区中,减少数据的移动,提高聚合、连接、排序等操作的效率。

sql 复制代码
--默认N = 1
insert overwrite table table_target 
select * from table_source distribute by rand();

--更精准的做法,N为正整数,由:文件大小(MB)/128(MB) 得出
insert overwrite table table_target 
select * from table_source distribute by ceil(rand() * N);
  • repartition

repartition只是coalesce接口中shuffle为true的简易实现,对数据进行重新分区,由于开启了shuffle,所以既可以扩大分区数,也可以缩小分区数,缺点是会有磁盘操作,性能差些

sql 复制代码
--N为重新分区的个数,正整数,由:文件大小(MB)/128(MB) 得出
insert overwrite table table_target 
select /*+ repartition(N) */ * from table_source;
  • 开发额外的小文件压缩程序,用于日常的小文件压缩
相关推荐
bksczm1 小时前
InnoDB 通用表空间与临时表空间详解
大数据·数据库·mysql
阿里云大数据AI技术2 小时前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能
衡石科技2 小时前
企业级 BI 的安全治理:衡石如何贯通认证、数据权限与审计
大数据·人工智能·安全·商业智能
stark张宇4 小时前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
yyk333245 小时前
Flink详细讲解
大数据·flink
用户46043852250867 小时前
关于paimon-rust 数据写入链路
大数据
数字融合9 小时前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
演艺大赏9 小时前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
知行产研9 小时前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能
演艺大赏10 小时前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase