hadoop学习系列--环境安装

先说踩的坑:刚开始学习,使用mac本安装单机hadoop,遭遇mac自身安全限制,到时dfs启动报错,解决后又出现新的问题,部分所需端口无法申请到,导致hadoop启动时报。

最终决定,使用虚拟机,在centos7下安装单机hadoop。

记录下踩得的:在解压hadoop包时所用的用户,和后续操作使用的用户最好使用一个,否则会报权限相关问题。

先要安装java环境,并配置环境变量:/etc/profile。配置完后一定要重新加载环境变量:source /etc/profile。

接下里将解压的hadoop所存放的根目录配置在环境变量中。

然后配置 hadoop/etc/hadoop/hdfs-site.xml、core-site.xml、yarn-site.xml和mapre-site.xml.个文件配置分别如下:

hdfs-site.xml

<property>

<name>fs.defaultFS</name>

<value>hdfs://127.0.0.1:9000</value> //如果其他主机也要访问,那就将127.0.0.1:9000改为:你的网卡IP:9000,或者改为0.0.0.0:9000

</property>

<property>

<name>hadoop.tmp.dir</name>

<!-- 自定义 hadoop 的工作目录 -->

<value>/usr/local/hadoop/hadoop-3.3.4/hadoopdata</value>

</property>

<property>

<name>hadoop.native.lib</name>

<!-- 禁用Hadoop的本地库 -->

<value>false</value>

</property>

hdfs-site.xml

复制代码
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>

yarn-site.xml

复制代码
<property>
               <name>yarn.resourcemanager.hostname</name>
               <value>127.0.0.1</value>
       </property>
       <property>
               <name>yarn.resourcemanager.webapp.address</name>
               <!-- yarn web 页面 -->
               <value>0.0.0.0:8088</value>
       </property>
       <property>
               <name>yarn.nodemanager.aux-services</name>
               <!-- reducer获取数据的方式 -->
               <value>mapreduce_shuffle</value>
       </property>

etc/hadoop/hadoop-env.sh

将当前用户 root 赋给下面这些变量

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

JAVA的绝对路径,可以使用whereis java查看

export JAVA_HOME=/usr/local/java/jdk1.8.0_341

Hadoop的安装路径下的etc/hadoop的绝对路径

export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-3.3.4/etc/hadoop

详细操作参考:Centos7.X安装单机Hadoop(3.3.4版本) - 粉色纽扣 - 博客园 (cnblogs.com)

相关推荐
charlie1145141912 小时前
CSS笔记4:CSS:列表、边框、表格、背景、鼠标与常用长度单位
css·笔记·学习·css3·教程
✎ ﹏梦醒͜ღ҉繁华落℘5 小时前
FreeRTOS学习笔记(应用)-- 各种 信号量的应用场景
笔记·学习
星星火柴9365 小时前
笔记 | C++面向对象高级开发
开发语言·c++·笔记·学习
BeingACoder6 小时前
【SAA】SpringAI Alibaba学习笔记(一):SSE与WS的区别以及如何注入多个AI模型
java·笔记·学习·saa·springai
安全不再安全6 小时前
免杀技巧 - 早鸟注入详细学习笔记
linux·windows·笔记·学习·测试工具·web安全·网络安全
BreezeJuvenile7 小时前
外设模块学习(8)——HC-SR04超声波模块(STM32)
stm32·单片机·嵌入式硬件·学习·超声波测距模块·hc-sr04
LBuffer7 小时前
破解入门学习笔记题三十八
笔记·学习
微露清风8 小时前
系统性学习C++-第十讲-stack 和 quene
java·c++·学习
PyAIGCMaster8 小时前
钉钉的设计理念方面,我可以学习
人工智能·深度学习·学习·钉钉
Elias不吃糖8 小时前
第四天学习总结:C++ 文件系统 × Linux 自动化 × Makefile 工程化
linux·c++·学习