hdfs中的小知识(hadoop hdfs hive)

FileinputFormat切片机制

(1)简单地按照文件的内容长度进行切片

(2)切片大小 ,默认等于block大小

(3)切片时不考虑数据集整体 ,而是逐个针对每一个文件单独切片

自定义InputFormat流程

(1)自定义一个类继承FileInputFormat

(2)改写RecordReader ,实现一次读取一个完整文件封装为KV

如何决定一个job的map和reduce的数量?

1)map数量 splitSize=max{minSize,min{maxSize,blockSize}}

map数量由处理的数据分成的block数量决定default_num = total_size / split_size;

2)reduce数量 reduce的数量job.setNumReduceTasks(x);x 为reduce的数量。不设置的话默认为 1

*** inputformat 是在mapreduce中产生的

相关推荐
TTBIGDATA2 天前
【Ambari开启Kerberos】- Atlas启动 - Hive服务检查异常处理
大数据·hive·hadoop·硬件架构·ambari·kerberos·bigtop
Q26433650232 天前
【有源码】基于Python的睡眠压力监测分析系统-基于Spark数据挖掘的睡眠压力动态可视化分析系统
大数据·hadoop·python·机器学习·数据挖掘·spark·课程设计
一只小青团2 天前
Hadoop之MapReduce
大数据·hadoop·mapreduce
阳爱铭3 天前
ClickHouse 中至关重要的两类复制表引擎——ReplicatedMergeTree和 ReplicatedReplacingMergeTree
大数据·hive·hadoop·sql·clickhouse·spark·hbase
Bug快跑-14 天前
云原生微服务环境下分布式事务优化实践——提升系统一致性与高并发处理能力
hadoop
叡鳍4 天前
Hive---案例7-6 列转行
数据仓库·hive·hadoop
❀͜͡傀儡师4 天前
docker-compose一键部署Hadoop集群
hadoop·docker·容器
干就完事了5 天前
Hive内置函数
数据仓库·hive·hadoop
布吉岛没有岛_5 天前
Hadoop学习_week1
大数据·hadoop
lijun_xiao20095 天前
Apache Hadoop-学习笔记1
hadoop·学习·apache