0201hdfs集群部署-hadoop-大数据学习

gaog2zh2023-08-31 8:33

文章目录

    • [1 前言](#1 前言)
    • [2 集群规划](#2 集群规划)
    • [3 hadoop安装包上传与安装](#3 hadoop安装包上传与安装)
      • [3.1 上传解压](#3.1 上传解压)
    • [4 hadoop配置](#4 hadoop配置)
    • [5 从节点同步和环境变量配置](#5 从节点同步和环境变量配置)
    • [6 创建用户](#6 创建用户)
    • [7 集群启动](#7 集群启动)
    • [8 问题集](#8 问题集)
      • [8.1 Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority.](#8.1 Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority.)
    • 结语

1 前言

下面我们配置下单namenode节点hadoop集群，使用vmware虚拟机环境搭建。vmware虚拟机的配置，在下面链接2有，或者自行查阅文档。hadoop安装包可到官网下载，当前相关软件环境如下：

软件 版本 说明
hadoop 3.3.4 jar包
vmware 15.5 虚拟机
centos 7.6 服务器操作系统
xshell 6 远程连接
jdk 1.8 java运行环境

2 集群规划

在前面的准备章节，我们准备了基于vmware的三台虚拟机，现服务规划如下：

节点 服务
node1 NameNode、DataNode、SecondaryNameNode
node2 DataNode
node3 DataNode

Hadoop HDFS的角色包含：

  • NameNode：主节点管理者
  • DataNode：从节点工作者
  • SecondaryNameNode：主节点辅助

3 hadoop安装包上传与安装

3.1 上传解压

  1. 上传hadoop安装包到node节点中，如下图3.1-1所示

  1. 解压缩安装包到/export/server中

    shell 复制代码 
    tar -zxvf hadoop-3.3.4.tar.gz -C /export/server

  2. 构建软连接

    bash 复制代码 
    cd /export/server
ln -s /export/server/hadoop-3.3.4 hadoop

4 hadoop配置

配置HDFS集群，主要涉及以下文件的修改：

  • workers：配置从节点（DataNode）有哪些
  • hadoop-env.sh：配置hadoop的相关变量
  • core-site.xml：hadoop的核心配置文件
  • hadfs-site.xml：HDFS核心配置文件

这些文件在$HADOOP_HOME/etc/hadoop文件夹中

ps：$HADOOP_HOME是后续我们要设置的环境变量，其指代Hadoop安装文件夹即/export/server/hadoop

  • 配置workers

    shell 复制代码 
    # 进入配置文件目录
cd etc/hadoop
# 编辑workers文件
vim workers
# 填入如下内容
node1
node2
node3
    • 记录node1，node2，node3三个从节点

  • 配置hadoop-en.sh

    shell 复制代码 
    # 填入如下内容
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs
    • JAVA_HOME：jdk安装目录
    • HADOOP_HOME：hadoop安装目录
    • HADOOP_CONF_DIR：hadoop配置文件目录
    • HADOOP_LOG_DIR：hadoop日志存放目录

  • 配置core-site.xml,此处配置NameNode会报错，后面问题集我们在分析

    xml 复制代码 
    在文件内部填入如下内容
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
  </property>

  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
</configuration>
    • key：fs.defaultFS;含义：HDFS文件系统的网络通讯路径;值：hdfs://node1:8020
      • 协议为hdfs://
      • namenode为node1
      • namenode通讯端口为8020
    • key：io.file.buffer.size含义：io操作文件缓冲区大小值：131072 bit
    • hdfs://node1:8020为整个HDFS内部的通讯地址，应用协议为hdfs://（Hadoop内置协议）表明DataNode将和node1的8020端口通讯，node1是NameNode所在机器此配置固定了node1必须启动NameNode进程

  • 配置hdfs-site.xml

    xml 复制代码 
    # 在文件内部填入如下内容
<configuration>
  <property>
    <name>dfs.datanode.data.dir.perm</name>
    <value>700</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/nn</value>
  </property>
  <property>
    <name>dfs.namenode.hosts</name>
    <value>node1,node2,node3</value>
  </property>
  <property>
    <name>dfs.blocksize</name>
    <value>268435456</value>
  </property>
  <property>
    <name>dfs.namenode.handler.count</name>
    <value>100</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/dn</value>
  </property>
</configuration>
    • key：dfs.datanode.data.dir.perm;含义：hdfs文件系统，默认创建的文件权限设置值：700，即：rwx------
    • key：dfs.namenode.name.dir;含义：NameNode元数据的存储位置值：/data/nn，在node1节点的/data/nn目录下
    • key：dfs.namenode.hosts含义：NameNode允许哪几个节点的DataNode连接（即允许加入集群）值：node1、node2、node3，这三台服务器被授权
    • key：dfs.blocksize含义：hdfs默认块大小值：268435456（256MB）
    • key：dfs.namenode.handler.count;含义：namenode处理的并发线程数;值：100，以100个并行度处理文件系统的管理任务
    • key：dfs.datanode.data.dir;含义：从节点DataNode的数据存储目录;值：/data/dn，即数据存放在node1、node2、node3，三台机器的/data/dn内

根据上面配置的NameNode和DataNode数据存放位置

  • namenode数据存放node1的/data/nn

  • datanode数据存放node1、node2、node3的/data/dn

  • 在node1节点：

    shell 复制代码 
    mkdir -p /data/nn
mkdir /data/dn

  • 在node2和node3节点：

    shell 复制代码 
    mkdir -p /data/dn

5 从节点同步和环境变量配置

目前，已经基本完成Hadoop的配置操作，可以从node1将hadoop安装文件夹远程复制到node2、node3

  • 分发

    shell 复制代码 
    # 在node1执行如下命令
cd /export/server
scp -r hadoop-3.3.4 node2:`pwd`/
scp -r hadoop-3.3.4 node3:`pwd`/

  • 在node2执行，为hadoop配置软链接

    shell 复制代码 
    # 在node2执行如下命令
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

  • 在node3执行，为hadoop配置软链接

    shell 复制代码 
    # 在node3执行如下命令
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

一步一步配置相对清晰，但是也繁琐，xshell有如下功能，可以在所有会话窗口执行相同的操作

配置环境变量：

在Hadoop文件夹中的bin、sbin两个文件夹内有许多的脚本和程序，现在来配置一下环境变量

  1. vim /etc/profile，node1,node2,node3执行相同操作

    shell 复制代码 
    # 在/etc/profile文件底部追加如下内容
export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

6 创建用户

hadoop部署的准备工作基本完成为了确保安全，hadoop系统不以root用户启动，我们以普通用户hadoop来启动整个Hadoop服务所以，现在需要对文件权限进行授权。

ps：请确保已经提前创建好了hadoop用户（前置准备章节中有讲述），并配置好了hadoop用户之间的免密登录以root身份，在node1、node2、node3三台服务器上均执行如下命令

shell 复制代码 
# 以root身份，在三台服务器上均执行
chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export

7 集群启动

前期准备全部完成，现在对整个文件系统执行初始化，在node1节点上操作

shell 复制代码 
# 确保以hadoop用户执行
su - hadoop
# 格式化namenode
hadoop namenode -format
# 一键启动hdfs集群
start-dfs.sh
# 一键关闭hdfs集群
stop-dfs.sh

# 如果遇到命令未找到的错误，表明环境变量未配置好，可以以绝对路径执行
/export/server/hadoop/sbin/start-dfs.sh
/export/server/hadoop/sbin/stop-dfs.sh

启动完成后，可以在浏览器打开：http://node1:9870，即可查看到hdfs文件系统的管理网页，如下图6-1所示

8 问题集

出了问题首先，查看日志，在配置文件$HADOOP_home/logs下面记录日志。

一些常见的报错，比如命令不存在，或者因为粗心单词写错，这里不再分析，可以去链接1视频P23-24查看原因或者自行查阅相关文档。下面主要分析一些本人遇到的非常见错误

8.1 Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority.

  • 日志报错内容

    复制代码 
    2023-08-27 11:40:09,808 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Failed to start secondary namenode
java.lang.IllegalArgumentException: Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority.
	at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:781)
	at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddressCheckLogical(DFSUtilClient.java:810)
	at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:772)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.getServiceAddress(NameNode.java:534)
	at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.initialize(SecondaryNameNode.java:231)
	at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.<init>(SecondaryNameNode.java:194)
	at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.main(SecondaryNameNode.java:690)

    • 报错NameNode URI配置有问题，这个配置我们是按照视频做了，配置如下

      xml 复制代码 
      <configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
  </property>

  • 解决方案：修改配置如下

    xml 复制代码 
      <property>
    <name>fs.default.name</name>
    <value>hdfs://node1:8020</value>
  </property>

  • 具体原理可以查看官方文档解释或者下面链接3

结语

如果小伙伴什么问题或者指教，欢迎交流。

❓QQ:806797785

参考链接:

1\][大数据视频](https://www.bilibili.com/video/BV1WY4y197g7)\[CP/OL\].2020-04-16.p14-p24. \[2\][0101前期准备-大数据学习](https://blog.csdn.net/gaogzhen/article/details/132384375)\[CP/OL\]. \[3\][Hadoop的core-site.xml配置文件里的fs.default.name和fs.defaultFS](https://blog.csdn.net/qq_33472663/article/details/106171096)\[CP/OL\].

相关推荐
isNotNullX29 分钟前
什么是数据分析？常见方法全解析
大数据·数据库·数据仓库·人工智能·数据分析
小袁拒绝摆烂40 分钟前
ElasticSearch快速入门-1
大数据·elasticsearch·搜索引擎
点控云2 小时前
智能私域运营中枢：从客户视角看 SCRM 的体验革新与价值重构
大数据·人工智能·科技·重构·外呼系统·呼叫中心
zkmall3 小时前
企业电商解决方案哪家好？ZKmall模块商城全渠道支持 + 定制化服务更省心
大数据·运维·重构·架构·开源
随缘而动，随遇而安7 小时前
第八十八篇 大数据中的递归算法：从俄罗斯套娃到分布式计算的奇妙之旅
大数据·数据结构·算法
GISer_Jing8 小时前
Git协作开发：feature分支、拉取最新并合并
大数据·git·elasticsearch
IT_10249 小时前
Spring Boot项目开发实战销售管理系统——系统设计！
大数据·spring boot·后端
一只鹿鹿鹿11 小时前
信息化项目验收，软件工程评审和检查表单
大数据·人工智能·后端·智慧城市·软件工程
聚铭网络11 小时前
案例精选 | 某省级税务局AI大数据日志审计中台应用实践
大数据·人工智能·web安全
Qdgr_13 小时前
价值实证：数字化转型标杆案例深度解析
大数据·数据库·人工智能
热门推荐
01手机电脑之间快速传输图片视频文件，不压缩画质、不限制大小的方法！02Coze实战第13讲：飞书多维表格读取+豆包生图模型，轻松批量生成短剧封面03Coze扣子平台完整体验和实践（附国内和国际版对比）04华为昇腾 910B 部署 DeepSeek-R1 蒸馏系列模型详细指南05免费可用！最强AI数字人对口型神器：让照片开口说话唱歌，支持多人对口型+全身动作，1分钟学会！（附保姆级教程）06扣子（coze）实战|我用扣子搭建了一个自动分析小红薯笔记内容的AI应用|详细步骤拆解07Coze平台 创建AI智能体的详细步骤指南08C#调用WechatOCR.exe实现本地OCR文字识别09DeepSeek各版本说明与优缺点分析102024年 最新 iPhone手机 历代机型、屏幕尺寸、纵横比、分辨率 整理