详细教程-Linux上安装单机版的Hadoop

1、上传Hadoop安装包至linux并解压

bash 复制代码
tar -zxvf hadoop-2.6.0-cdh5.15.2.tar.gz

安装包:

链接:https://pan.baidu.com/s/1u59OLTJctKmm9YVWr_F-Cg

提取码:0pfj

2、配置免密码登录

生成秘钥:

bash 复制代码
ssh-keygen -t rsa -P ''


将秘钥写入认证文件:

bash 复制代码
cd ~/.ssh
cat id_rsa.pub >> ~/.ssh/authorized_keys

修改认证文件权限:

bash 复制代码
chmod 600 ~/.ssh/authorized_keys

3、配置环境变量

将 Hadoop 加入环境变量 /etc/profile :

bash 复制代码
vi /etc/profile

4、修改Hadoop配置文件

1 ) 修改hadoop-env.sh 文件

bash 复制代码
vi /usr/local/hadoop-2.6.0-cdh5.15.2/etc/hadoop/hadoop-env.sh

修改 JAVA_HOME :(这里要改成你自己linux中的jdk路径)

bash 复制代码
export JAVA_HOME=/usr/local/jdk1.8.0_181

2 )修改 core-site.xml 文件

XML 复制代码
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://lcc:9090</value>
        </property>
</configuration>
  1. 修改 hdfs-site.xml 文件
XML 复制代码
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop-2.6.0-cdh5.15.2/tmp</value>
        </property>
</configuration>
  1. 修改mapred-site.xml文件
bash 复制代码
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
XML 复制代码
<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

5 )修改 slaves 文件

bash 复制代码
vi slaves

改成上面的 lcc(这里就是你的一个主机名,注意要在hosts文件中配置好 ip地址 主机名)
这里配置的是单节点, 指向本机主机名称。
6)修改yarn-site.xml

XML 复制代码
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

5、启动Hadoop服务

进入到sbin目录

bash 复制代码
cd /usr/local/hadoop-2.6.0-cdh5.15.2/sbin/

执行启动脚本

bash 复制代码
./start-all.sh

上传一个文件, 用于测试:

XML 复制代码
hdfs dfs -put /usr/local/hadoop-2.6.0-cdh5.15.2/etc/hadoop/hadoop-env.sh /

如果遇到如下报错:

请执行以下命令解决

再次重新执行hdfs上传即可

6、访问验证

至此Hadoop单机版安装完毕

相关推荐
Lx35211 小时前
复杂MapReduce作业设计:多阶段处理的最佳实践
大数据·hadoop
LH_R14 小时前
OneTerm开源堡垒机实战(四):访问授权与安全管控
运维·后端·安全
用户311879455921815 小时前
Kylin Linux 10 安装 glib2-devel-2.62.5-7.ky10.x86_64.rpm 方法(附安装包)
linux
Raymond运维15 小时前
MariaDB源码编译安装(二)
运维·数据库·mariadb
涛啊涛15 小时前
Centos7非LVM根分区容量不足后扩容,对调硬盘挂载/
linux·磁盘管理
JuiceFS1 天前
从 MLPerf Storage v2.0 看 AI 训练中的存储性能与扩展能力
运维·后端
CYRUS_STUDIO1 天前
用 Frida 控制 Android 线程:kill 命令、挂起与恢复全解析
android·linux·逆向
Lx3521 天前
Hadoop数据处理优化:减少Shuffle阶段的性能损耗
大数据·hadoop
熊猫李2 天前
rootfs-根文件系统详解
linux
chen9452 天前
mysql 3节点mgr集群部署
运维·后端