目录
jdk安装配置
1、删除centos自带的jdk
yum list installed | grep java
yum remove *openjdk*
2、下载jdk安装包
wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz
3、解压安装包
tar -zxvf jdk-8u151-linux-x64.tar.gz
4、移动并重命名
mv jdk1.8.0_151/ /usr/java8
5、配置java环境变量
echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
6、刷新配置
source /etc/profile
7、检查
java -version
hadoop安装
1、下载hadoop安装包
wget --no-check-certificate https://repo.huaweicloud.com/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz
2、解压到指定文件夹
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/
3、重命名
mv /opt/hadoop-3.1.3 /opt/hadoop
4、配置hadoop环境变量
echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
5、刷新配置
source /etc/profile
6、修改yarn-env.sh和hadoop-env.sh配置文件
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh
7、检查
hadoop version
hadoop配置
1、修改Hadoop配置文件core-site.xml
vim /opt/hadoop/etc/hadoop/core-site.xml
在<configuration></configuration>节点内插入如下内容：
<property>
<name>hadoop.tmp.dir</name>
<value>file:/opt/hadoop/tmp</value>
<description>location to store temporary files</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
2、修改Hadoop配置文件hdfs-site.xml
vim /opt/hadoop/etc/hadoop/hdfs-site.xml
在<configuration></configuration>节点内插入如下内容：
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/hadoop/tmp/dfs/data</value>
</property>
配置ssh免密登录
1、生成秘钥：ssh-keygen -t rsa
2、私钥存在本机~/.ssh目录下，公钥改名为authorized_keys
3、检查：ssh可以免密登录
（如果一台机子有多个公钥，需要都放在authorezed_keys文件中）
启动hadoop
vim /opt/hadoop/etc/hadoop/hadoop-env.sh
将export JAVA_HOME改成export JAVA_HOME=/usr/java8
2、修改配置文件start-dfs.sh和stop-dfs.sh
vim /opt/hadoop/sbin/start-dfs.sh
在头部添加如下内容
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
在stop-dfs.sh配置文件头部也添加同样的内容。
3、修改配置文件start-yarn.sh和stop-yarn.sh
vim /opt/hadoop/sbin/start-yarn.sh
在头部添加如下内容：
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
4、初始化namenode
hadoop namenode -format
5、启动hadoop
start-dfs.sh
start-yarn.sh
6、产看启动成功的进程
jps
如果出现namenode、datanode、nodemanager、jps说明启动成功
7、访问端口：8042和9870、8088
如果拒绝访问，可以关闭防火墙，或者配置防火墙策略。
实现文件上传下载
1、先在hdfs文件系统根目录下新建work1目录,用于管理文件的上传和下载：
hadoop fs -mkdir /work1
2、产看目录是否建立成功：
hadoop fs -ls /
3、将服务器上的/opt/hd/a.txt文件上传到hdfs:
hadoop fs -put /opt/hd/a.txt /work1
4、查看文件是否上传成功：
访问：192.168.100.131:9870:
进入work1目录：
点击download即可下载：
eclipse安装配置
1、下载eclipse-jee-2024-09-R-linux-gtk-x86_64.tar.gz压缩包放到/usr/local/eclipse目录下解压：
cd /usr/local/eclipse
tar -xvf eclipse-jee-2024-09-R-linux-gtk-x86_64.tar.gz
2、下载hadoop-eclipse-plugin-2.6.0.jar包，放到eclipse的plugin目录下
3、运行eclipse：
cd /usr/local/eclipse/eclipse
./eclipse
打开软件后，workspace选择默认即可：
安装配置完成