linux安装hadoop

目录

jdk安装配置

hadoop安装

hadoop配置

配置ssh免密登录

启动hadoop

实现文件上传下载

eclipse安装配置


jdk安装配置

1、删除centos自带的jdk

复制代码
yum list installed | grep java
yum remove *openjdk*

2、下载jdk安装包

复制代码
wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz

3、解压安装包

复制代码
tar -zxvf jdk-8u151-linux-x64.tar.gz

4、移动并重命名

复制代码
mv jdk1.8.0_151/ /usr/java8

5、配置java环境变量

复制代码
echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile

6、刷新配置

复制代码
source /etc/profile

7、检查

复制代码
java -version

hadoop安装

1、下载hadoop安装包

复制代码
wget --no-check-certificate https://repo.huaweicloud.com/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

2、解压到指定文件夹

复制代码
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/

3、重命名

复制代码
mv /opt/hadoop-3.1.3 /opt/hadoop

4、配置hadoop环境变量

复制代码
echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile

5、刷新配置

复制代码
source /etc/profile

6、修改yarn-env.sh和hadoop-env.sh配置文件

复制代码
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

7、检查

复制代码
hadoop version

hadoop配置

1、修改Hadoop配置文件core-site.xml

复制代码
vim /opt/hadoop/etc/hadoop/core-site.xml

在<configuration></configuration>节点内插入如下内容:

复制代码
<property>
       <name>hadoop.tmp.dir</name>
       <value>file:/opt/hadoop/tmp</value>
       <description>location to store temporary files</description>
   </property>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>

2、修改Hadoop配置文件hdfs-site.xml

复制代码
vim /opt/hadoop/etc/hadoop/hdfs-site.xml

在<configuration></configuration>节点内插入如下内容:

复制代码
<property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>file:/opt/hadoop/tmp/dfs/name</value>
   </property>
   <property>
       <name>dfs.datanode.data.dir</name>
       <value>file:/opt/hadoop/tmp/dfs/data</value>
   </property>

配置ssh免密登录

1、生成秘钥:ssh-keygen -t rsa

2、私钥存在本机~/.ssh目录下,公钥改名为authorized_keys

3、检查:ssh可以免密登录

(如果一台机子有多个公钥,需要都放在authorezed_keys文件中)


启动hadoop

1、修改配置文件hadoop-env.sh

复制代码
vim /opt/hadoop/etc/hadoop/hadoop-env.sh
将export JAVA_HOME改成export JAVA_HOME=/usr/java8

2、修改配置文件start-dfs.sh和stop-dfs.sh

复制代码
vim /opt/hadoop/sbin/start-dfs.sh

在头部添加如下内容

复制代码
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在stop-dfs.sh配置文件头部也添加同样的内容。

3、修改配置文件start-yarn.sh和stop-yarn.sh

复制代码
vim /opt/hadoop/sbin/start-yarn.sh

在头部添加如下内容:

复制代码
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

4、初始化namenode

复制代码
hadoop namenode -format

5、启动hadoop

复制代码
start-dfs.sh
start-yarn.sh

(也可以直接start-all.sh)

6、产看启动成功的进程

复制代码
jps

如果出现namenode、datanode、nodemanager、jps说明启动成功

7、访问端口:8042和9870、8088

如果拒绝访问,可以关闭防火墙,或者配置防火墙策略。


实现文件上传下载

1、先在hdfs文件系统根目录下新建work1目录,用于管理文件的上传和下载:

复制代码
hadoop fs -mkdir /work1

2、产看目录是否建立成功:

复制代码
hadoop fs -ls /

3、将服务器上的/opt/hd/a.txt文件上传到hdfs:

复制代码
hadoop fs -put /opt/hd/a.txt /work1

4、查看文件是否上传成功:

访问:192.168.100.131:9870:

进入work1目录:

点击download即可下载:


eclipse安装配置

1、下载eclipse-jee-2024-09-R-linux-gtk-x86_64.tar.gz压缩包放到/usr/local/eclipse目录下解压:

复制代码
cd /usr/local/eclipse
tar -xvf eclipse-jee-2024-09-R-linux-gtk-x86_64.tar.gz

2、下载hadoop-eclipse-plugin-2.6.0.jar包,放到eclipse的plugin目录下

3、运行eclipse:

复制代码
cd /usr/local/eclipse/eclipse
./eclipse

打开软件后,workspace选择默认即可:

安装配置完成



相关推荐
大丈夫立于天地间8 分钟前
ISIS协议中的数据库同步
运维·网络·信息与通信
cg501712 分钟前
Spring Boot 的配置文件
java·linux·spring boot
暮云星影32 分钟前
三、FFmpeg学习笔记
linux·ffmpeg
rainFFrain43 分钟前
单例模式与线程安全
linux·运维·服务器·vscode·单例模式
GalaxyPokemon1 小时前
Muduo网络库实现 [九] - EventLoopThread模块
linux·服务器·c++
mingqian_chu1 小时前
ubuntu中使用安卓模拟器
android·linux·ubuntu
啊迷诺斯2 小时前
hadoop的常用命令
hadoop
@郭小茶2 小时前
docker-compose方式部署docker项目
运维·docker·容器
GalaxyPokemon2 小时前
Muduo网络库实现 [十] - EventLoopThreadPool模块
linux·服务器·网络·c++