Linux安装并配置Hadoop

目录

  • 一、安装并配置JDK
  • 二、安装并配置Hadoop
  • 三、安装过程中遇到的问题总结

一、安装并配置JDK

Linux上一般会安装Open JDK,关于OpenJDK和JDK的区别:http://www.cnblogs.com/sxdcgaq8080/p/7487369.html

准备Open JDK 1.8

查询可安装的java版本

bash 复制代码
yum -y list java*

安装jdk1.8,由于我是M1 ARM系统,因此

bash 复制代码
yum install -y java-1.8.0-openjdk.aarch64

java -version查看已安装的jdk版本

java的安装目录为:/usr/lib/jvm

在/etc/profile下配置环境变量(这里已经配置了完整的环境变量,包括Hadoop)

bash 复制代码
# set java environment
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.312.b07-1.el8_4.aarch64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/opt/hadoop-1.2.1
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

二、安装并配置Hadoop

使用wget下载Hadoop压缩包

bash 复制代码
wget https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

将hadoop压缩包移动至/opt目录下,并且解压

bash 复制代码
mv hadoop-1.2.1.tar.gz /opt/
cd /opt
tar -zxvf hadoop-1.2.1.tar.gz

可以在hadoop目录中配置conf目录下的文件

hadoop-env.sh

修改JAVA_HOME环境变量

bash 复制代码
# The java implementation to use.  Required.
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.312.b07-1.el8_4.aarch64

core-site.xml

xml 复制代码
<configuration>
    <!-- hadoop工作目录-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/hadoop/tmp</value>
    </property>
    <!-- 元数据目录-->
    <property>
        <name>dfs.name.dir</name>
        <value>/hadoop/name</value>
    </property>
    <!--文件系统访问路径-->
    <property>
        <name>fs.default.name</name>
        <value>hdfs://imooc:900</value>
    </property>
</configuration>

hdfs-site.xml

xml 复制代码
<configuration>
    <!-- 文件系统数据存放目录-->
    <property>
        <name>dfs.data.dir</name>
        <value>/hadoop/data</value>
    </property>
</configuration>

mapred-site.xml

xml 复制代码
<configuration>
    <!-- 任务调度器访问路径-->
    <property>
        <name>mapred.job.tracker</name>
        <value>imooc:9001</value>
    </property>
</configuration>

在/etc/profile下,配置Hadoop环境变量

shell 复制代码
export HADOOP_HOME=/opt/hadoop-1.2.1

并且修改export PATH

shell 复制代码
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在hadoop的bin目录下,对Hadoop的namenode进行格式化操作

shell 复制代码
hadoop namenode -format

并在bin目录启动hadoop,使用jps命令查看hadoop是否正常运行

使用其命令,查看hadoop下的文件

bash 复制代码
hadoop fs -ls /

可以看到有一个 Hadoop文件

三、安装过程中遇到的问题总结

1、ssh免密

运行staet-all.sh出现The authenticity of host 'localhost (::1)' can't be established,需要设置ssh免密

bash 复制代码
ssh -o StrictHostKeyChecking=no 192.168.2.100(本机IP)

2、hostname错误

运行staet-all.sh出现Exception in thread "main" java.net.UnknownHostException: unknown host: xxx
注意:hdfs://net:9000中的net是linux的主机名,可以通过echo $HOSTNAME查询主机

3、jps缺少

输入jps命令后,只有jps,那就说明配置有误,按照上文配置进行检查

4、warn信息

在输入一些hadoop命令时,可以看到如下的警告信息,但是不影响运行
Warning: $HADOOP_HOME is deprecated.

需在/etc/profile中添加

shell 复制代码
 export HADOOP_HOME_WARN_SUPPRESS=0
相关推荐
深夜情感老师1 小时前
centos离线安装ssh
linux·centos·ssh
IT成长日记1 小时前
【Hive入门】Hive查询语言(DQL)完全指南:从基础查询到高级分析
数据仓库·hive·hadoop·dql操作
橘猫云计算机设计3 小时前
springboot基于hadoop的酷狗音乐爬虫大数据分析可视化系统(源码+lw+部署文档+讲解),源码可白嫖!
数据库·hadoop·spring boot·爬虫·python·数据分析·毕业设计
夸克App3 小时前
实现营销投放全流程自动化 超级汇川推出信息流智能投放产品“AI智投“
运维·人工智能·自动化
Rainbond云原生3 小时前
83k Star!n8n 让 AI 驱动的工作流自动化触手可及
运维·人工智能·自动化
木觞清3 小时前
深度对比评测:n8n vs Coze(扣子) vs Dify - 自动化工作流工具全解析
运维·自动化
中云时代-防御可测试-小余4 小时前
高防IP是如何防护DDoS攻击和CC攻击的
运维·服务器·tcp/ip·安全·阿里云·ddos·宽度优先
宅小海4 小时前
spark和Hadoop的区别和联系
大数据·hadoop·spark
root666/4 小时前
【大数据技术-联邦集群RBF】DFSRouter日志一直打印修改Membership为EXPIRED状态的日志分析
java·大数据·hadoop
网硕互联的小客服4 小时前
如何模拟黑客攻击(Red Teaming)以测试服务器安全性
运维·服务器