Hadoop初体验

一、HDFS初体验

1. shell命令操作

hadoop fs -mkdir /itcast

hadoop fs -put zookeeper.out /itcast

hadoop fs -ls /

2. Web UI页面操作

结论:

  1. HDFS本质就是一个文件系统
  2. 有目录树结构 和Linux类似,分文件、文件夹
  3. 为什么上传一个小文件也这么慢?

二、MapReduce +YARN初体验

执行Hadoop官方自带的MapReduce案例

评估圆周率π的值

cd /export/server/hadoop-3.1.4/share/hadoop/mapreduce/

hadoop jar hadoop-mapreduce-examples-3.1.4.jar pi 2 4

思考:

  1. MapReduce本质是程序?
  2. 执行MapReduce的时候,为什么首先请求YARN?
  3. MapReduce看上去好像是两个阶段?
  4. 先Map,再Reduce?
  5. 处理小数据的时候,MapReduce速度快吗?
相关推荐
毕设源码-郭学长1 天前
【开题答辩全过程】以 Python基于大数据的四川旅游景点数据分析与可视化为例,包含答辩的问题和答案
大数据·python·数据分析
顧棟1 天前
【HDFS实战】HADOOP 机架感知能力-HDFS
大数据·hadoop·hdfs
亚林瓜子1 天前
AWS中国云中的ETL之从aurora搬数据到s3(Glue版)
hadoop·spark·云计算·etl·aws
程序员果子1 天前
Kafka 深度剖析:架构演进、核心概念与设计精髓
大数据·运维·分布式·中间件·架构·kafka
isfox1 天前
Hadoop RPC深度解析:分布式通信的核心机制
大数据
猎板PCB黄浩1 天前
PCB 半固化片:被忽视的成本控制关键,猎板的技术选型与安全适配策略
大数据·网络·人工智能
stjiejieto1 天前
从工具到生产力:2025 年 “人工智能 +” 的产业落地全景与价值重构
大数据·人工智能·重构
说私域1 天前
基于定制开发开源AI智能名片S2B2C商城小程序的文案信息传达策略研究
大数据·人工智能·小程序
深蓝易网1 天前
3C电子企业柔性制造转型:如何通过MES管理系统实现快速换线与弹性生产?
大数据·运维·人工智能·重构·制造
IT毕设梦工厂1 天前
大数据毕业设计选题推荐-基于大数据的全国饮品门店数据可视化分析系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·信息可视化·spark·毕业设计·源码·bigdata