Hadoop集群搭建

一、 Hadoop安装部署模式

单机模式 Standalone

一台机器，所有的角色在一个java进程中运行。适合体验。

伪分布式

一台机器每个角色单独的java进程。适合测试

分布式 cluster

多台机器每个角色运行在不同的机器上生产测试都可以
高可用（持续可用）集群 HA

在分布式的模式下给主角色设置备份角色实现了容错的功能解决了单点故障

保证集群持续可用性。

二、了解源码编译

Index of /disthttps://archive.apache.org/dist/

Apache软件基金会的所有软件所有版本的下载地址.

源码下载地址

https://archive.apache.org/dist/hadoop/common/

hadoop-3.3.0-src.tar.gz source 源码包
hadoop-3.3.0.tar.gz 官方编译后安装包

对应java语言开发的项目软件来说，所谓的编译是什么？

xxx.java(源码)---->xxx.class(字节码)---->jar包
正常来说，官方网站提供了安装包，可以直接使用，为什么要自己编译呢？

- 修改源码之后需要重新编译。
- 官方提供的最大化编译满足在各个平台运行，但是不一定彻底兼容本地环境。
- 某些软件，官方只提供源码。

native library 本地库。

官方编译好的 Hadoop的安装包没有提供带 C程序访问的接口。主要是本地压缩支持、IO支持。

怎么编译？

在源码的根目录下有编译相关的文件BUILDING.txt 指导如何编译。

使用maven进行编译联网jar.

可以使用课程提供编译好的安装包

hadoop-3.3.0-Centos7-64-with-snappy.tar.gz

三、集群规划

Hadoop集群的规划

- 根据软件和硬件的特性合理的安排各个角色在不同的机器上。

- - 有冲突的尽量不部署在一起
  - 有工作依赖尽量部署在一起
  - nodemanager 和datanode是基友
  node1: namenode datanode | resourcemanager nodemanger
  node2: datanode secondarynamenode| nodemanger
  node3: datanode | nodemanger
- Q：如果后续需要扩容hadoop集群，应该增加哪些角色呢？
  
  node4: datanode nodemanger
  node5: datanode nodemanger
  node6: datanode nodemanger
  .....

四、服务器基础环境准备

8.1、服务器基础环境准备

复制代码

ip、主机名
hosts映射 别忘了windows也配置
防火墙关闭
时间同步
免密登录  node1---->node1 node2 node3
JDK安装

详细步骤：zk集群搭建-CSDN博客

8.2、安装包目录结构

复制代码

#上传安装包到/export/server 解压

 bin    #hadoop核心脚本 最基础最底层脚本
 etc    #配置目录
 include
 lib
 libexec
 LICENSE.txt
 NOTICE.txt
 README.txt
 sbin  #服务启动 关闭 维护相关的脚本
 share #官方自带实例  hadoop相关依赖jar

五、配置文件详解

官网文档： https://hadoop.apache.org/docs/r3.3.0/

第一类 1个 hadoop-env.sh
第二类 4个 core|hdfs|mapred|yarn-site.xml

site表示的是用户定义的配置，会覆盖default中的默认配置。

- core-site.xml 核心模块配置
- hdfs-site.xml hdfs文件系统模块配置
- mapred-site.xml MapReduce模块配置
- yarn-site.xml yarn模块配置

第三类 1个 workers

配置

hadoop-env.sh

#java home
export JAVA_HOME=/export/server/jdk1.8.0_241

#Hadoop各个组件启动运行身份
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
core-site.xml
fs.defaultFS hdfs://node1:8020 hadoop.tmp.dir /export/data/hadoop-3.3.0 hadoop.http.staticuser.user root hadoop.proxyuser.root.hosts * hadoop.proxyuser.root.groups * fs.trash.interval 1440
hdfs-site.xml
dfs.namenode.secondary.http-address node2:9868
mapred-site.xml
mapreduce.framework.name yarn mapreduce.jobhistory.address node1:10020 mapreduce.jobhistory.webapp.address node1:19888 yarn.app.mapreduce.am.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.map.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.reduce.env HADOOP_MAPRED_HOME=${HADOOP_HOME}
yarn-site.xml
yarn.resourcemanager.hostname node1 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.pmem-check-enabled false yarn.nodemanager.vmem-check-enabled false yarn.log-aggregation-enable true yarn.log.server.url http://node1:19888/jobhistory/logs yarn.log-aggregation.retain-seconds 604800
workers

node1.itcast.cn
node2.itcast.cn
node3.itcast.cn

六、scp同步、环境变量配置

scp安装包到其他机器

cd /export/server

scp -r hadoop-3.3.0 root@node2: $PWD scp -r hadoop-3.3.0 root@node3:$ PWD
Hadoop环境变量配置

vim /etc/profile

export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH= $PATH:$ HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

#别忘了 scp环境变量给其他两台机器哦

七、namenode format操作

format准确来说翻译成为初始化比较好。对namenode工作目录、初始文件进行生成。
通常在namenode所在的机器执行执行一次。首次启动之前

#在node1 部署namenode的这台机器上执行

[root@node1 ~]# hadoop namenode -format

#执行成功日志会有如下显示
21/05/23 15:38:19 INFO common.Storage: Storage directory /export/data/hadoopdata/dfs/name has been successfully formatted.

复制代码

[root@node1 server]# ll /export/data/hadoopdata/dfs/name/current/
total 16
-rw-r--r-- 1 root root 321 May 23 15:38 fsimage_0000000000000000000
-rw-r--r-- 1 root root  62 May 23 15:38 fsimage_0000000000000000000.md5
-rw-r--r-- 1 root root   2 May 23 15:38 seen_txid
-rw-r--r-- 1 root root 207 May 23 15:38 VERSION

Q：如果不小心初始化了多次，如何？

- 现象：主从之间互相不识别。
- 解决

#企业真实环境中枪毙

#学习环境

删除每台机器上hadoop.tmp.dir配置指定的文件夹/export/data/hadoop-3.3.0。

重新format。