hadoop学习系列--环境安装

先说踩的坑:刚开始学习,使用mac本安装单机hadoop,遭遇mac自身安全限制,到时dfs启动报错,解决后又出现新的问题,部分所需端口无法申请到,导致hadoop启动时报。

最终决定,使用虚拟机,在centos7下安装单机hadoop。

记录下踩得的:在解压hadoop包时所用的用户,和后续操作使用的用户最好使用一个,否则会报权限相关问题。

先要安装java环境,并配置环境变量:/etc/profile。配置完后一定要重新加载环境变量:source /etc/profile。

接下里将解压的hadoop所存放的根目录配置在环境变量中。

然后配置 hadoop/etc/hadoop/hdfs-site.xml、core-site.xml、yarn-site.xml和mapre-site.xml.个文件配置分别如下:

hdfs-site.xml

<property>

<name>fs.defaultFS</name>

<value>hdfs://127.0.0.1:9000</value> //如果其他主机也要访问,那就将127.0.0.1:9000改为:你的网卡IP:9000,或者改为0.0.0.0:9000

</property>

<property>

<name>hadoop.tmp.dir</name>

<!-- 自定义 hadoop 的工作目录 -->

<value>/usr/local/hadoop/hadoop-3.3.4/hadoopdata</value>

</property>

<property>

<name>hadoop.native.lib</name>

<!-- 禁用Hadoop的本地库 -->

<value>false</value>

</property>

hdfs-site.xml

复制代码
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>

yarn-site.xml

复制代码
<property>
               <name>yarn.resourcemanager.hostname</name>
               <value>127.0.0.1</value>
       </property>
       <property>
               <name>yarn.resourcemanager.webapp.address</name>
               <!-- yarn web 页面 -->
               <value>0.0.0.0:8088</value>
       </property>
       <property>
               <name>yarn.nodemanager.aux-services</name>
               <!-- reducer获取数据的方式 -->
               <value>mapreduce_shuffle</value>
       </property>

etc/hadoop/hadoop-env.sh

将当前用户 root 赋给下面这些变量

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

JAVA的绝对路径,可以使用whereis java查看

export JAVA_HOME=/usr/local/java/jdk1.8.0_341

Hadoop的安装路径下的etc/hadoop的绝对路径

export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-3.3.4/etc/hadoop

详细操作参考:Centos7.X安装单机Hadoop(3.3.4版本) - 粉色纽扣 - 博客园 (cnblogs.com)

相关推荐
西岸行者5 天前
学习笔记:SKILLS 能帮助更好的vibe coding
笔记·学习
B站计算机毕业设计超人5 天前
计算机毕业设计Django+Vue.js高考推荐系统 高考可视化 大数据毕业设计(源码+LW文档+PPT+详细讲解)
大数据·vue.js·hadoop·django·毕业设计·课程设计·推荐算法
B站计算机毕业设计超人5 天前
计算机毕业设计Django+Vue.js音乐推荐系统 音乐可视化 大数据毕业设计 (源码+文档+PPT+讲解)
大数据·vue.js·hadoop·python·spark·django·课程设计
十月南城5 天前
数据湖技术对比——Iceberg、Hudi、Delta的表格格式与维护策略
大数据·数据库·数据仓库·hive·hadoop·spark
悠哉悠哉愿意5 天前
【单片机学习笔记】串口、超声波、NE555的同时使用
笔记·单片机·学习
别催小唐敲代码5 天前
嵌入式学习路线
学习
王九思5 天前
Hive Thrift Server 介绍
数据仓库·hive·hadoop
毛小茛5 天前
计算机系统概论——校验码
学习
babe小鑫5 天前
大专经济信息管理专业学习数据分析的必要性
学习·数据挖掘·数据分析
winfreedoms5 天前
ROS2知识大白话
笔记·学习·ros2