hdfs中的小知识(hadoop hdfs hive)

FileinputFormat切片机制

(1)简单地按照文件的内容长度进行切片

(2)切片大小 ,默认等于block大小

(3)切片时不考虑数据集整体 ,而是逐个针对每一个文件单独切片

自定义InputFormat流程

(1)自定义一个类继承FileInputFormat

(2)改写RecordReader ,实现一次读取一个完整文件封装为KV

如何决定一个job的map和reduce的数量?

1)map数量 splitSize=max{minSize,min{maxSize,blockSize}}

map数量由处理的数据分成的block数量决定default_num = total_size / split_size;

2)reduce数量 reduce的数量job.setNumReduceTasks(x);x 为reduce的数量。不设置的话默认为 1

*** inputformat 是在mapreduce中产生的

相关推荐
源码之家5 小时前
计算机毕业设计:Python智慧交通大数据分析平台 Flask框架 requests爬虫 出行速度预测 拥堵预测(建议收藏)✅
大数据·hadoop·爬虫·python·数据分析·flask·课程设计
武子康11 小时前
大数据-257 离线数仓 - 数据质量监控详解:从理论到Apache Griffin实践
大数据·hadoop·后端
孤影过客2 天前
驯服数据巨兽:Hadoop如何重塑大数据的黄金时代
大数据·hadoop·分布式
极光代码工作室2 天前
基于Hadoop的日志数据分析系统设计
大数据·hadoop·python·数据分析·数据可视化
tumeng07113 天前
HDFS的架构优势与基本操作
hadoop·hdfs·架构
蓝眸少年CY3 天前
Hive - 函数、压缩与优化
数据仓库·hive·hadoop
仗剑_走天涯3 天前
Hadoop 安装
大数据·hadoop·分布式
sunxunyong3 天前
HDFS nnsdy重新配置启动
大数据·hadoop·hdfs
bukeyiwanshui3 天前
Hadoop环境搭建
大数据·hadoop·分布式
Jianghong Jian3 天前
HDFS常用的JAVA API
大数据·hadoop·hdfs