Hadoop的HDFS的集群安装部署

新征程，再出发2023-09-14 12:31

注意：主机名不要有/_等特殊的字符，不然后面会出问题。有问题可以看看第5点（问题）。

1、下载

1.1、去官网，点下载

下载地址：https://hadoop.apache.org/

1.2、选择下载的版本

1.2.1、最新版

1.2.2、其他版本，我这里选择3.3.4


1.3、上传，解压

HDFS是主从模式，所以在node1节点安装即可

1.3.1、上传安装包node1节点

1.3.2、解压到/export/server下

powershell 复制代码 
tar -zxvf hadoop-3.3.4.tar.gz -C /export/server

1.3.3、构建软链接

powershell 复制代码 
ln -s /export/server/hadoop-3.3.4 hadoop

2、配置

配置HDFS集群，我们主要涉及到如下文件的修改：

  • workers： 配置从节点（DataNode）有哪些
  • hadoop-env.sh： 配置Hadoop的相关环境变量
  • core-site.xml： Hadoop核心配置文件
  • hdfs-site.xml： HDFS核心配置文件

这些文件均存在与$HADOOP_HOME/etc/hadoop文件夹中。

进入etc下的Hadoop目录

powershell 复制代码 
cd ./etc/hadoop

2.1、配置workers文件

2.1.1、进入Hadoop目录

powershell 复制代码 
cd ./etc/hadoop

2.1.2、编辑workers文件

powershell 复制代码 
vim workers

配置主机名

填入的bigdata_node1,2,3是三台主机的名称

表明集群记录了三个从节点（DataNode）

2.2、配置hadoop-env.sh文件

powershell 复制代码 
vim hadoop-env.sh


xml 复制代码 
# 填入如下内容
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs
  • JAVA_HOME，指明JDK环境的位置在哪
  • HADOOP_HOME，指明Hadoop安装位置
  • HADOOP_CONF_DIR，指明Hadoop配置文件目录位置
  • HADOOP_LOG_DIR，指明Hadoop运行日志目录位置

2.3、配置core-site.xml文件

powershell 复制代码 
vim core-site.xml
xml 复制代码 
在文件内部填入如下内容
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://bigdata_node1:8020</value>
  </property>

  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
</configuration>

  • key：fs.defaultFS

    含义：HDFS文件系统的网络通讯路径

  • 值：hdfs://node1:8020

    协议为hdfs://

    namenode为bigdata_node1

    namenode通讯端口为8020

  • key：io.file.buffer.size

    含义：io操作文件缓冲区大小

  • 值：131072 bit

hdfs://bigdata_node1:8020为整个HDFS内部的通讯地址，应用协议为hdfs://（Hadoop内置协议）。

表明DataNode将和node1的8020端口通讯，bigdata_node1是NameNode所在机器。

此配置固定了bigdata_node1必须启动NameNode进程。

2.4、配置hdfs-site.xml文件

powershell 复制代码 
vim hdfs-site.xml
xml 复制代码 
# 在文件内部填入如下内容
<configuration>
  <property>
    <name>dfs.datanode.data.dir.perm</name>
    <value>700</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/nn</value>
  </property>
  <property>
    <name>dfs.namenode.hosts</name>
    <value>bigdata_node1,bigdata_node2,bigdata_node3</value>
  </property>
  
  <property>
    <name>dfs.blocksize</name>
    <value>268435456</value>
  </property>
  <property>
    <name>dfs.namenode.handler.count</name>
    <value>100</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/dn</value>
  </property>
</configuration>

  • key：dfs.datanode.data.dir.perm

    含义：hdfs文件系统，默认创建的文件权限设置

  • 值：700，即：rwx------

  • key：dfs.namenode.name.dir

    含义：NameNode元数据的存储位置

  • 值：/data/nn，在bigdata_node1节点的/data/nn目录下

  • key：dfs.namenode.hosts

    含义：NameNode允许哪几个节点的DataNode连接（即允许加入集群）

  • 值：bigdata_node1,bigdata_node2,bigdata_node3这三台服务器被授权

  • key：dfs.blocksize

    含义：hdfs默认块大小

  • 值：268435456（256MB）

  • key：dfs.namenode.handler.count

    含义：namenode处理的并发线程数

  • 值：100，以100个并行度处理文件系统的管理任务

  • key：dfs.datanode.data.dir

    含义：从节点DataNode的数据存储目录

  • 值：/data/dn，即数据存放在bigdata_node1,bigdata_node2,bigdata_node3三台机器的/data/dn内

2.5、根据下述2个配置项：


  • namenode数据存放bigdata_node1的/data/nn
  • datanode数据存放bigdata_node1,bigdata_node2,bigdata_node3的/data/dn

所以应该

  • 在bigdata_node1节点：

    mkdir -p /data/nn

    mkdir -p /data/dn

  • 在bigdata_node2和bigdata_node3节点：

    mkdir -p /data/dn

2.6、分发Hadoop文件夹

已经基本完成Hadoop的配置操作，可以从bigdata_node1将hadoop安装文件夹远程复制到bigdata_node2、bigdata_node3。

在bigdata_node1执行如下命令

powershell 复制代码 
cd /export/server
scp -r hadoop-3.3.4 bigdata_node2:`pwd`/
scp -r hadoop-3.3.4 bigdata_node3:`pwd`/


2.7、为hadoop配置软链接

2.7.1、在bigdata_node2执行

powershell 复制代码 
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

2.7.2、在bigdata_node3执行

powershell 复制代码 
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

2.8、配置环境变量

2.8.1、添加配置

为了方便我们操作Hadoop，可以将Hadoop的一些脚本、程序配置到PATH中，方便后续使用。

在Hadoop文件夹中的bin、sbin两个文件夹内有许多的脚本和程序，现在来配置一下环境变量。

powershell 复制代码 
vim /etc/profile

在/etc/profile文件底部追加如下内容

xml 复制代码 
export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.8.2、配置生效

powershell 复制代码 
source /etc/profile

三台服务器都要配置。

3、授权为hadoop用户

hadoop部署的准备工作基本完成。

为了确保安全，hadoop系统不以root用户启动，我们以普通用户hadoop来启动整个Hadoop服务

所以，现在需要对文件权限进行授权。

ps：请确保已经提前创建好了hadoop用户，并配置好了hadoop用户之间的免密登录。

以root身份，在bigdata_node1、bigdata_node2、bigdata_node3三台服务器上均执行如下命令

powershell 复制代码 
chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export

三台服务器都要。

4、格式化，启动，访问

前期准备全部完成，现在对整个文件系统执行初始化。

4.1、格式化namenode

确保以hadoop用户执行

powershell 复制代码 
su hadoop

格式化namenode

powershell 复制代码 
hadoop namenode -format



4.2、启动

一键启动hdfs集群

powershell 复制代码 
start-dfs.sh

一键关闭hdfs集群

powershell 复制代码 
stop-dfs.sh

如果遇到命令未找到的错误，表明环境变量未配置好，可以以绝对路径执行

powershell 复制代码 
/export/server/hadoop/sbin/start-dfs.sh
/export/server/hadoop/sbin/stop-dfs.sh

4.3、访问

  • 在本地系统配置host的文件，就可以直接使用域名访问。

5、问题

5.1、一键启动hdfs集群后，jps查看没有启动的服务

5.2、检查日志log

xml 复制代码 
java.lang.IllegalArgumentException: Does not contain a valid host:port authority: bigdata_node1:8020
	at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:232)
	at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:189)
	at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:169)
	at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:766)
	at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:792)
	at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddressCheckLogical(DFSUtilClient.java:810)
	at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:772)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.getRpcServerAddress(NameNode.java:578)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.loginAsNameNodeUser(NameNode.java:718)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:738)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:1020)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:995)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1769)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1834)
2023-09-11 00:28:53,873 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: bigdata_node1:8020

5.3、问题原因

说是我主机与端口不对

5.3.1、ping端口号

powershell 复制代码 
ping bigdata_node1

5.3.2、说是端口号没放开

powershell 复制代码 
telnet bigdata_node1 8020

5.3.3、自己的真实原因

主机使用的hostname不合法，修改为不包含着'.' '/' '_'等非法字符的主机名。

5.3.4、修改主机名，并把之前的配置的主机名全部改了

powershell 复制代码 
hostnamectl set-hostname bigdatanode1
powershell 复制代码 
vim /etc/hosts
powershell 复制代码 
vim workers
powershell 复制代码 
vim core-site.xml
powershell 复制代码 
vim hdfs-site.xml

5.4、重启启动，成功

5.4.1、先格式化namenode

powershell 复制代码 
hadoop namenode -format

5.4.2、再启动



结束！！！！！！！

hy:33

						为什么害怕独处？因为人在独处的时候，总是会听到心灵深处的声音。
相关推荐
2401_883041083 小时前
新锐品牌电商代运营公司都有哪些？
大数据·人工智能
青云交3 小时前
大数据新视界 -- 大数据大厂之 Impala 性能优化：融合机器学习的未来之路（上 （2-1））（11/30）
大数据·计算资源·应用案例·数据交互·impala 性能优化·机器学习融合·行业拓展
Json_181790144805 小时前
An In-depth Look into the 1688 Product Details Data API Interface
大数据·json
Qspace丨轻空间8 小时前
气膜场馆：推动体育文化旅游创新发展的关键力量—轻空间
大数据·人工智能·安全·生活·娱乐
Elastic 中国社区官方博客9 小时前
如何将数据从 AWS S3 导入到 Elastic Cloud - 第 3 部分：Elastic S3 连接器
大数据·elasticsearch·搜索引擎·云计算·全文检索·可用性测试·aws
Aloudata10 小时前
从Apache Atlas到Aloudata BIG，数据血缘解析有何改变？
大数据·apache·数据血缘·主动元数据·数据链路
水豚AI课代表10 小时前
分析报告、调研报告、工作方案等的提示词
大数据·人工智能·学习·chatgpt·aigc
拓端研究室TRL13 小时前
【梯度提升专题】XGBoost、Adaboost、CatBoost预测合集：抗乳腺癌药物优化、信贷风控、比特币应用|附数据代码...
大数据
黄焖鸡能干四碗13 小时前
信息化运维方案，实施方案，开发方案，信息中心安全运维资料（软件资料word）
大数据·人工智能·软件需求·设计规范·规格说明书
编码小袁13 小时前
探索数据科学与大数据技术专业本科生的广阔就业前景
大数据
热门推荐
01如何才能让手机厂商主动拥抱华为，接入鸿蒙系统？02【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04【TC3xx芯片】TC3xx芯片电源管理系统PMS详解05基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测06【经验分享】Ubuntu22.04安装微信(linux官方版)07Macbook pro M1 安装Ubuntu教程08RAG 实践- Ollama+RagFlow 部署本地知识库09Windows10安装PCL1.14.0及点云配准10文件或文件夹名称中有空格如何批量去除