Hadoop的安装和使用

1. Hadoop简介

Hadoop是一个能够对大量数据进行分布式处理的软件框架,并且是以一种可靠、高效、可伸缩的方式进行处理的,它具有以下几个方面的特性。

  1. 高可靠性。
  2. 高效性。
  3. 高可扩展性。
  4. 高容错性。
  5. 成本低。
  6. 运行在Linux平台上。
  7. 支持多种编程语言。

2. 分布式文件系统HDFS

简介

Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)是Hadoop项目的两大核心之一,是针对谷歌文件系统(Google File System,GFS)的开源实现。

总体而言,HDFS要实现以下目标:

  1. 兼容廉价的硬件设备。
  2. 流数据读写。
  3. 大数据集。
  4. 简单的文件模型。
  5. 强大的跨平台兼容性。

体系结构

HDFS采用了主从(Master/Slave)结构模型,一个HDFS集群包括一个名称节点和若干个数据节点。

安装

Hadoop包括三种安装模式:

  1. 单机模式:只在一台机器上运行,存储是采用本地文件系统,没有采用分布式文件系统HDFS;
  2. 伪分布式模式:存储采用分布式文件系统HDFS,但是,HDFS的名称节点和数据节点都在同一台机器上;
  3. 分布式模式:存储采用分布式文件系统HDFS,而且,HDFS的名称节点和数据节点位于不同机器上。
    这里介绍Hadoop伪分布式模式的安装方法。

3. Hadoop的安装

4. HDFS的基本使用方法

1>使用WEB管理页面操作HDFS

首先启动Hadoop,然后可以在浏览器中输入"http://localhost:9870",就可以访问Hadoop的WEB管理页面

在WEB管理页面中,点击顶部右侧的菜单选项"Utilities",在弹出的子菜单中点击"Browse the file system",会出现HDFS文件系统操作页面,在这个页面中可以创建、查看、删除目录和文件。

2>使用命令操作HDFS

除了在浏览器中通过WEB方式操作HDFS以外,还可以在cmd窗口中使用命令对HDFS进行操作。

首先,创建一个名称为"user"的目录,命令如下:

cd c:\hadoop-3.1.3\bin

hadoop fs -mkdir hdfs://localhost:9000/user/

hadoop fs -mkdir hdfs://localhost:9000/user/xiaoming

然后,在"C:\"下创建一个文件test.txt,里面输入一行语句"I love hadoop",使用如下命令把该文件上传到HDFS中:

hadoop fs -put C:\test.txt hdfs://localhost:9000/user/xiaoming

使用如下命令查看HDFS中的目录和文件:

hadoop fs -ls hdfs://localhost:9000/user/xiaoming

使用如下命令把HDFS中的文件内容显示到本地屏幕上:

hadoop fs -cat hdfs://localhost:9000/user/xiaoming/test.txt

把上面的HDFS中的文件test.txt下载到本地文件系统,并重命名为test1.txt:

hadoop fs -get hdfs://localhost:9000/user/xiaoming/test.txt C:\test1.txt

使用如下命令删除HDFS中的一个文件:

hadoop fs -rm hdfs://localhost:9000/user/xiaoming/test.txt

使用如下命令删除HDFS中的一个目录及其下面的文件:

hadoop fs -rm -r hdfs://localhost:9000/user/xiaoming

相关推荐
stark张宇1 小时前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
yyk333242 小时前
Flink详细讲解
大数据·flink
用户46043852250864 小时前
关于paimon-rust 数据写入链路
大数据
数字融合5 小时前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
演艺大赏6 小时前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
知行产研6 小时前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能
演艺大赏7 小时前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
时间的拾荒人7 小时前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构
Databend7 小时前
活动邀请函|AI 时代的湖仓实践,从应用场景到 Cloud Agent 上手
大数据·数据库·agent
数字新视界1 天前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统