详细教程-Linux上安装单机版的Hadoop

1、上传Hadoop安装包至linux并解压

bash 复制代码
tar -zxvf hadoop-2.6.0-cdh5.15.2.tar.gz

安装包:

链接:https://pan.baidu.com/s/1u59OLTJctKmm9YVWr_F-Cg

提取码:0pfj

2、配置免密码登录

生成秘钥:

bash 复制代码
ssh-keygen -t rsa -P ''


将秘钥写入认证文件:

bash 复制代码
cd ~/.ssh
cat id_rsa.pub >> ~/.ssh/authorized_keys

修改认证文件权限:

bash 复制代码
chmod 600 ~/.ssh/authorized_keys

3、配置环境变量

将 Hadoop 加入环境变量 /etc/profile :

bash 复制代码
vi /etc/profile

4、修改Hadoop配置文件

1 ) 修改hadoop-env.sh 文件

bash 复制代码
vi /usr/local/hadoop-2.6.0-cdh5.15.2/etc/hadoop/hadoop-env.sh

修改 JAVA_HOME :(这里要改成你自己linux中的jdk路径)

bash 复制代码
export JAVA_HOME=/usr/local/jdk1.8.0_181

2 )修改 core-site.xml 文件

XML 复制代码
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://lcc:9090</value>
        </property>
</configuration>
  1. 修改 hdfs-site.xml 文件
XML 复制代码
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop-2.6.0-cdh5.15.2/tmp</value>
        </property>
</configuration>
  1. 修改mapred-site.xml文件
bash 复制代码
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
XML 复制代码
<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

5 )修改 slaves 文件

bash 复制代码
vi slaves

改成上面的 lcc(这里就是你的一个主机名,注意要在hosts文件中配置好 ip地址 主机名)
这里配置的是单节点, 指向本机主机名称。
6)修改yarn-site.xml

XML 复制代码
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

5、启动Hadoop服务

进入到sbin目录

bash 复制代码
cd /usr/local/hadoop-2.6.0-cdh5.15.2/sbin/

执行启动脚本

bash 复制代码
./start-all.sh

上传一个文件, 用于测试:

XML 复制代码
hdfs dfs -put /usr/local/hadoop-2.6.0-cdh5.15.2/etc/hadoop/hadoop-env.sh /

如果遇到如下报错:

请执行以下命令解决

再次重新执行hdfs上传即可

6、访问验证

至此Hadoop单机版安装完毕

相关推荐
wuk9982 分钟前
基于MATLAB编制的锂离子电池伪二维模型
linux·windows·github
你想考研啊2 小时前
四、jenkins自动构建和设置邮箱
运维·jenkins
Code blocks2 小时前
使用Jenkins完成springboot项目快速更新
java·运维·spring boot·后端·jenkins
独行soc3 小时前
#渗透测试#批量漏洞挖掘#HSC Mailinspector 任意文件读取漏洞(CVE-2024-34470)
linux·科技·安全·网络安全·面试·渗透测试
BD_Marathon3 小时前
Ubuntu下Tomcat的配置
linux·ubuntu·tomcat
饥饿的半导体3 小时前
Linux快速入门
linux·运维
BD_Marathon3 小时前
Ubuntu:Tomcat里面的catalina.sh
linux·ubuntu·tomcat
BD_Marathon3 小时前
设置LInux环境变量的方法和区别_Ubuntu/Centos
linux·ubuntu·centos
Me4神秘4 小时前
Linux国产与国外进度对垒
linux·服务器·安全
zhaowangji4 小时前
ubuntu 20.04 安装中文输入法 (sougou pin yin)
linux·ubuntu