Hadoop的介绍与安装

1 Hadoop的简介

Hadoop是一个开源的大数据框架,是一个分布式计算的解决方案。 Hadoop是由java语言编写的,在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架,其核心部件是HDFS与MapReduce。

HDFS是一个分布式文件系统:引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode,对数据进行分布式储存和读取。

MapReduce是一个分布式计算框架:MapReduce的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分(Map计算/Reduce计算)再根据任务调度器(JobTracker)对任务进行分布式计算。

2 Hadoop的特点

Hadoop是一个能够让用户轻松搭建和使用的分布式计算平台,能够让用户轻松地在Hadoop上开发和运行处理海量数据的应用程序。Hadoop的主要特点如下。

**1)高可靠性。**Hadoop的数据存储有多个备份,集群部署在不同机器上,可以防止一个节点宕机造成集群损坏。当数据处理请求失败时,Hadoop将自动重新部署计算任务。

**2)高扩展性。**Hadoop是在可用的计算机集群间分配数据并完成计算任务的。为集群添加新的节点并不复杂,因此可以很容易地对集群进行节点的扩展。

**3)高效性。**Hadoop可以在节点之间动态地移动数据,在数据所在节点进行并行处理,并保证各个节点的动态平衡,因此处理速度非常快。

**4)高容错性。**Hadoop的分布式文件系统HDFS在存储文件时将在多台机器或多个节点上存储文件的备份副本,当读取该文件出错或某一台机器宕机时,系统会调用其他节点上的备份文件,保证程序顺利运行。

**5)低成本。**Hadoop是开源的,即不需要支付任何费用即可下载并安装使用,节省了购买软件的成本。

**6)可构建在廉价机器上。**Hadoop不要求机器的配置达到极高的标准,大部分普通商用服务器即可满足要求,通过提供多个副本和容错机制提高集群的可靠性。

**7)Hadoop基本框架是基于Java语言编写的。**Hadoop是一个基于Java语言开发的框架,因此运行在Linux系统上是非常理想的。Hadoop上的应用程序也可以使用其他语言编写,如C++和Python。

3、windows上安装Hadoop.

下载对应源码

链接:源码下载提取码:0103https://pan.baidu.com/s/1tywqdaSJgjN-WYbIW_72WQ

1、安装JDK

安装JDK详情https://blog.csdn.net/qq_57335683/article/details/134750327?spm=1001.2014.3001.5502

2、配置环境变量

(配置HADOOP_HOME,环境变量path添加%HADOOP_HOME%\bin)

添加环境变量名:HADOOP_HOME

变量值: 源码路径(根据自己的改变)

在Path中添加:%HADOOP_HOME%\bin

3、使用快捷键win+R后输入cmd确认->弹出dos界面输入set确认是否配置成功。

输入hadoop version验证环境变量

4、对hadoop-2.7.1\etc\hadoop\hadoop-env.cmd中JDK路径进行修改:下面路径修改为jdk安装路径

5、对hadoop-2.7.1\etc\hadoop\hdfs-site.xml的路径进行修改

红线是项目路径地址,后面保持一致不变。

6、从项目路径\hadoop-2.7.1\bin下拷贝hadoop.dll到 C:\Windows\System32 。

以管理员身份打开命令提示符

输入hdfs namenode -format,看到如下所示就说明format成功

7、转到hadoop-2.7.1\sbin文件下,输入start-all,启动hadoop集群

输入jps - 可以查看运行的所有节点

会出现下面四个窗口表示启动hadoop集群成功

访问http://localhost:50070,访问hadoop的web界面

访问http://localhost:8088,访问yarn的web界面,有就表明已经成功

8、停止运行的所有节点的命令stop-all

相关推荐
IT成长日记5 分钟前
【Hive入门】Hive基础操作与SQL语法:DDL操作全面指南
hive·hadoop·sql·ddl操作
欧先生^_^7 分钟前
Spark 的一些典型应用场景及具体示例
大数据·分布式·spark
IT成长日记9 分钟前
【Hive入门】Hive分桶表深度解析:从哈希分桶到Join优化的完整指南
hive·hadoop·哈希算法·哈希分桶·join优化
陶然同学1 小时前
RabbitMQ全栈实践手册:从零搭建消息中间件到SpringAMQP高阶玩法
java·分布式·学习·rabbitmq·mq
八股文领域大手子1 小时前
如何给GitHub项目提PR(踩坑记录
大数据·elasticsearch·github
爱吃龙利鱼1 小时前
elk中kibana一直处于可用和降级之间且es群集状态并没有问题的解决方法
大数据·elk·elasticsearch
腾讯云大数据1 小时前
腾讯云ES一站式RAG方案获信通院“开源大模型+软件创新应用”精选案例奖
大数据·elasticsearch·开源·云计算·腾讯云
云攀登者-望正茂1 小时前
Kafka 架构设计和组件介绍
分布式·kafka
露卡_1 小时前
Kafka和其他组件的整合
分布式·kafka·linq
goTsHgo1 小时前
Kafka 保证多分区的全局顺序性的设计方案和具体实现
分布式·kafka