Hadoop安装与配置

一、 Hadoop 安装与配置

1、解压Hadoop 安装包

找到hadoop-2.6.0.tar.gz,将其复到master0节点的"/home/csu"目录内，解压hadoop

csu@master0 \~\]$ tar -zxvf \~/hadoop-2.6.0.tar.gz 解压成成功后自动在csu目录下创建hadoop-2.6.0子目录，可以用cd hadoop-2.6.0命令进入这个目录，并用ls -l 命令查看里面的文件。  ## **2** **、配置hadoop** **环境变量** > 如果通过代码无法打开文件，就点击HOME目录，找到computer目录然后按照这个路径去找到各个文件夹"/home/csu/hadoop-2.6.0/etc/hadoop/hadoop-env.sh" \[csu@master0 \~\]$ gedit /home/csu/hadoop-2.6.0/etc/hadoop/hadoop-env.sh 在文件的前面找到"export JAVA_HOME={JAVA_HOME}"将其修改为实际的JDK安装路径，即输入"export JAVA_HOME=/usr/java/jdk1.7.0_71/" 编辑完毕保存退出即可  ## **3** **、配置Yarn** **环境变量文件** 配置Yarn环境变量文件是yarn-env.sh,也位于"\~/hadoop-2.6.0/etc/hadoop"目录下 \[csu@master0 \~\]$ gedit /home/csu/hadoop-2.6.0/etc/hadoop/yarn-env.sh 在文件的前面部份找到"# export JAVA_HOME=/home/y/libexec/jdk1.6.0/ " 将其改为"export JAVA_HOME=/usr/java/jdk1.7.0_71/"编辑完毕保存退出即可  **4、配置核心组件文件** hadoop的核心组件文件是core-site.xml,也位于"\~/hadoop-2.6.0/etc/hadoop"目录下 \[csu@master0 \~\]$ gedit /home/csu/hadoop-2.6.0/etc/hadoop/core-site.xml 需要将下面的配置代码放在文件的\和\之间 \ \ \fs.defaultFS\ \hdfs://master0:9000\ \ \ \hadoop.tmp.dir\ \/home/csu/hadoopdata\ \ \ 编辑完毕保存退出即可  （事先要在/home/csu下建一个hadoopdata目录）  ## **5、配置文件系统** Hadoop的文件系统配置文件是hdfs-site.xml,也位于"\~/hadoop-2.6.0/etc/hadoop"子目录下。 \[csu@master0 \~\]$ gedit /home/csu/hadoop-2.6.0/etc/hadoop/hdfs-site.xml 需要将下面的代码填充到文件的\和\之间 \ \dfs.replication\ \1\ \ 编辑完毕保存退出即可  dfs.replicationd是HDFS数据块的副本数，\1\ 中的值是1就表示是一个副本，默认值为3. ## **6、配置yarn-site.xml** **文件** yarn-site.xml文件也位于"\~/hadoop-2.6.0/etc/hadoop"子目录下 \[csu@master0 \~\]$ gedit /home/csu/hadoop-2.6.0/etc/hadoop/yarn-site.xml 将下面的代码填充到文件的\和\之间 \ \yarn.nodemanager.aux-services\ \mapreduce_shuffle\ \ \ \yarn.resourcemanager.address\ \master0:18040\ \ \ \yarn.resourcemanager.scheduler.address\ \master0:18030\ \ \ \yarn.resourcemanager.resource-tracker.address\ \master0:18025\ \ \ \yarn.resourcemanager.admin.address\ \master0:18141\ \ \ \yarn.resourcemanager.webapp.address\ \master0:18088\ \ 编辑完毕保存退出即可  ## **7** **、配置MapReduce** **计算框架文件** 在\~/hadoop-2.6.0/etc/hadoop目录下系统已经有一个mapred-site.xml.template文件，将其复制并改名，位置不变。 \[csu@master0 \~\]$ cp /home/csu/hadoop-2.6.0/etc/hadoop/mapred-site.xml.template /home/csu/hadoop-2.6.0/etc/hadoop/mapred-site.xml    然后编辑这个文件 \[csu@master0 \~\]$ gedit /home/csu/hadoop-2.6.0/etc/hadoop/mapred-site.xml 将下面代码填充到文件的\和\之间 \ \mapreduce.framework.name\ \yarn\ \ 编辑完毕保存退出即可  ## **8** **、配置master** **的slaves** **文件** \[csu@master0 \~\]$ gedit /home/csu/hadoop-2.6.0/etc/hadoop/slaves 根据自己搭建的实际情况进行编辑，现在只安装一个从节点slave0,就在里面输入内容 slave0 编辑完毕保存退出即可  **9、复制master** **上的Hadoop** **到Slave** **节点** **有几个从节点就要复制几次，现在只有一个slave0** **从节点，就复制一次** \[csu@master0 \~\]$ scp -r /home/csu/hadoop-2.6.0 csu@slave0:\~/ （由于我们前面已经配置了免密钥登陆，因此这里不会有密码输入认证） 至此，就完成了Hadoop集群的安装与配置.  ## **二、Hadoop的启动** ## **1** **、配置操作系统环境变量** 配置Linux系统的环境变量 \[csu@master0 \~\]$ gedit \~/.bash_profile Or \[csu@master0 \~\]nano \~/.bash_profile 在这个文件的尾部追加下面的代码： #HADOOP export HADOOP_HOME=/home/csu/hadoop-2.6.0 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 保存退出后执行"source \~/.bash_profile"命令，使修改后的配置生效。 （同时也要在其他节点进行上述配置）   ## **2** **、创建Hadoop** **数据目录** Mkdir /home/csu/hadoopdata 注意，这里的数据目录名"hadoopdata"与前面核心组件文件core-site.xml的配置 \hadoop.tmp.dir\ \/home/csu/hadoopdata\要一致  ## **3、格式化文件系统** \[csu@master0 \~\]$ hdfs namenode -format（主节点）  1. **启动和关闭hadoop** \[csu@master0 \~\]$ cd \~/hadoop-2.6.0 \[csu@master0 hadoop-2.6.0\]$ sbin/start-all.sh (启动)  \[csu@master0 hadoop-2.6.0\]$ sbin/stop-all.sh (关闭) **5** **、验证Hadoop** **是否启动成功** \[csu@master0 hadoop-2.6.0\]$ jps 执行jps查看进程，如果有四个进程： SecondaryNameNode、ResourceManager、NameNode和Jps 则表明主节点启动成功  从节点上执行jps,看到有NodeManager、Jps和DataNode 三个进程表示从节点也安装成功 在firefox浏览器中( 在命令状下直接输入firefox就可以启动firefox浏览器)：  **在地址栏输入http://master0:50070/** **可以查看Hadoop** **运行状态**  **在地址栏输入http://master0:18088/** **可以查看Yarn** **运行状态**  ------------学习笔记