Hadoop的安装和使用

1. Hadoop简介

Hadoop是一个能够对大量数据进行分布式处理的软件框架,并且是以一种可靠、高效、可伸缩的方式进行处理的,它具有以下几个方面的特性。

  1. 高可靠性。
  2. 高效性。
  3. 高可扩展性。
  4. 高容错性。
  5. 成本低。
  6. 运行在Linux平台上。
  7. 支持多种编程语言。

2. 分布式文件系统HDFS

简介

Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)是Hadoop项目的两大核心之一,是针对谷歌文件系统(Google File System,GFS)的开源实现。

总体而言,HDFS要实现以下目标:

  1. 兼容廉价的硬件设备。
  2. 流数据读写。
  3. 大数据集。
  4. 简单的文件模型。
  5. 强大的跨平台兼容性。

体系结构

HDFS采用了主从(Master/Slave)结构模型,一个HDFS集群包括一个名称节点和若干个数据节点。

安装

Hadoop包括三种安装模式:

  1. 单机模式:只在一台机器上运行,存储是采用本地文件系统,没有采用分布式文件系统HDFS;
  2. 伪分布式模式:存储采用分布式文件系统HDFS,但是,HDFS的名称节点和数据节点都在同一台机器上;
  3. 分布式模式:存储采用分布式文件系统HDFS,而且,HDFS的名称节点和数据节点位于不同机器上。
    这里介绍Hadoop伪分布式模式的安装方法。

3. Hadoop的安装

4. HDFS的基本使用方法

1>使用WEB管理页面操作HDFS

首先启动Hadoop,然后可以在浏览器中输入"http://localhost:9870",就可以访问Hadoop的WEB管理页面

在WEB管理页面中,点击顶部右侧的菜单选项"Utilities",在弹出的子菜单中点击"Browse the file system",会出现HDFS文件系统操作页面,在这个页面中可以创建、查看、删除目录和文件。

2>使用命令操作HDFS

除了在浏览器中通过WEB方式操作HDFS以外,还可以在cmd窗口中使用命令对HDFS进行操作。

首先,创建一个名称为"user"的目录,命令如下:

cd c:\hadoop-3.1.3\bin

hadoop fs -mkdir hdfs://localhost:9000/user/

hadoop fs -mkdir hdfs://localhost:9000/user/xiaoming

然后,在"C:\"下创建一个文件test.txt,里面输入一行语句"I love hadoop",使用如下命令把该文件上传到HDFS中:

hadoop fs -put C:\test.txt hdfs://localhost:9000/user/xiaoming

使用如下命令查看HDFS中的目录和文件:

hadoop fs -ls hdfs://localhost:9000/user/xiaoming

使用如下命令把HDFS中的文件内容显示到本地屏幕上:

hadoop fs -cat hdfs://localhost:9000/user/xiaoming/test.txt

把上面的HDFS中的文件test.txt下载到本地文件系统,并重命名为test1.txt:

hadoop fs -get hdfs://localhost:9000/user/xiaoming/test.txt C:\test1.txt

使用如下命令删除HDFS中的一个文件:

hadoop fs -rm hdfs://localhost:9000/user/xiaoming/test.txt

使用如下命令删除HDFS中的一个目录及其下面的文件:

hadoop fs -rm -r hdfs://localhost:9000/user/xiaoming

相关推荐
瞎胡侃21 分钟前
Spark读取Apollo配置
大数据·spark·apollo
悻运23 分钟前
如何配置Spark
大数据·分布式·spark
懒惰的橘猫34 分钟前
Spark集群搭建之Yarn模式
大数据·分布式·spark
2401_824256861 小时前
Spark-Streaming
大数据·分布式·spark
胡耀超1 小时前
附1:深度解读:《金融数据安全 数据安全分级指南》——数据分类的艺术专栏系列
大数据·金融·数据治理·生命周期·数据分类·政策法规
合新通信 | 让光不负所托1 小时前
【合新通信】浸没式液冷光模块与冷媒兼容性测试技术报告
大数据·网络·光纤通信
元6331 小时前
spark和hadoop之间的对比和联系
大数据·hadoop·spark
cooldream20092 小时前
深入解析大数据的Lambda架构:设计、特点与应用场景
大数据·架构·系统架构师
淋一遍下雨天3 小时前
Spark-Streaming核心编程
大数据·kafka
jack xu13 小时前
高频面试题:如何保证数据库和es数据一致性
java·大数据·数据库·mysql·elasticsearch