hdfs中的小知识(hadoop hdfs hive)

FileinputFormat切片机制

(1)简单地按照文件的内容长度进行切片

(2)切片大小 ,默认等于block大小

(3)切片时不考虑数据集整体 ,而是逐个针对每一个文件单独切片

自定义InputFormat流程

(1)自定义一个类继承FileInputFormat

(2)改写RecordReader ,实现一次读取一个完整文件封装为KV

如何决定一个job的map和reduce的数量?

1)map数量 splitSize=max{minSize,min{maxSize,blockSize}}

map数量由处理的数据分成的block数量决定default_num = total_size / split_size;

2)reduce数量 reduce的数量job.setNumReduceTasks(x);x 为reduce的数量。不设置的话默认为 1

*** inputformat 是在mapreduce中产生的

相关推荐
IvanCodes2 小时前
六、Sqoop 导出
大数据·hadoop·sqoop
weixin_472339463 小时前
Doris查询Hive数据:实现高效跨数据源分析的实践指南
数据仓库·hive·hadoop
火龙谷5 小时前
【hadoop】相关集群开启命令
大数据·hadoop·分布式
神奇侠202420 小时前
Hive SQL常见操作
hive·hadoop·sql
itachi-uchiha1 天前
Docker部署Hive大数据组件
大数据·hive·docker
viperrrrrrrrrr71 天前
大数据学习(131)-Hive数据分析函数总结
大数据·hive·学习
qq_408413391 天前
spark 执行 hive sql数据丢失
hive·sql·spark
TDengine (老段)1 天前
TDengine 替换 Hadoop,彻底解决数据丢失问题 !
大数据·数据库·hadoop·物联网·时序数据库·tdengine·涛思数据
yt948322 天前
如何在IDE中通过Spark操作Hive
ide·hive·spark
火龙谷2 天前
【hadoop】Davinci数据可视化工具的安装部署
大数据·hadoop·分布式