Hadoop3:MapReduce之MapTask的FileInputFormat的切片原理解读(2)

Job那块的断点代码截图省略,直接进入切片逻辑

参考:Hadoop3:MapReduce之MapTask的Job任务提交流程原理解读(1)

4、FileInputFormat切片源码解析

切片入口

获取切片数

获取最大和最小切片数

判断文件是否可以切片,如果文件不支持切片,则整体处理

这里只考虑支持切片的代码逻辑

计算切片大小

根据切片大小配置,及块大小配置,计算出切片大小

此处可以看出,如果块大小配置在切片大小之间的值,则切片大小取块大小。

这里可以看出,切片是对每一个文件单独计算的,不是把所有文件累加到一起的大小进行计算切片数量。

切片的又一个代码限制。
如果,文件大小小于切片大小的1.1倍,则不增加切片。

生成临时切片文件

创建配置信息文件到临时文件夹中

总结

FileInputFormat类的继承关系

主要关注该类里面的getSplits方法

整体流程梳理

相关推荐
胡小禾17 分钟前
ES常识8:ES8.X如何实现热词统计
大数据·elasticsearch·jenkins
appsvip35 分钟前
用短说社区搭建的沉浸式生活方式分享平台
大数据·生活
我爱写代码?1 小时前
MapReduce架构-打包运行
大数据·spark
MZWeiei2 小时前
Spark SQL 运行架构详解(专业解释+番茄炒蛋例子解读)
大数据·分布式·sql·架构·spark
Hadoop_Liang3 小时前
解决Mawell1.29.2启动SQLException: You have an error in your SQL syntax问题
大数据·数据库·maxwell
火龙谷4 小时前
【hadoop】Flume的相关介绍
大数据·hadoop·flume
Luck_ff08105 小时前
Elasticsearch 快速入门指南
大数据·elasticsearch·搜索引擎
天天爱吃肉82186 小时前
大数据:新能源汽车宇宙的未来曲率引擎
大数据·汽车
IvanCodes7 小时前
九、HQL DQL七大查询子句
大数据·数据库·hive
只因只因爆8 小时前
spark数据清洗
大数据·分布式·spark