背景介绍
这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。
之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在公网上搭建体验一下。
注意,如果你和我一样,打算用公网部署,那一定要做好防火墙策略,避免不必要的麻烦!!!
注意,如果你和我一样,打算用公网部署,那一定要做好防火墙策略,避免不必要的麻烦!!!
注意,如果你和我一样,打算用公网部署,那一定要做好防火墙策略,避免不必要的麻烦!!!
请大家都以学习为目的,也请不要对我的服务进行嗅探或者攻击!!!
请大家都以学习为目的,也请不要对我的服务进行嗅探或者攻击!!!
请大家都以学习为目的,也请不要对我的服务进行嗅探或者攻击!!!
但是有一台公网服务器我还运行着别的服务,比如前几天发的:autodl-keeper
自己写的小工具,防止AutoDL机器过期的。还跑着别的Web服务,所以只能挤出一台 2C2G 的机器。那我的配置如下了:
- 2C4G 编号 h121
- 2C4G 编号 h122
- 2C2G 编号 h123 (后续如果服务器多出来,我还有好几台别的,到时候换一下)
Java 环境
apt 安装
shell
sudo apt install openjdk-8-jdk
下载安装
这种就是大家常用的方式安装,我选择的是 apt
的方式
shell
# JDK8:https://www.oracle.com/cn/java/technologies/downloads/#java8-linux
验证环境
shell
java -version
环境变量
虽然 apt
安装完之后,是有了环境变量,但是为了后续 Hadoop 能够正常的工作,我们还需要手动去配置一下。
找到你目前的Java
目录
shell
readlink -f $(which java)
修改配置文件
shell
sudo vim /etc/profile
**写入如下内容: **
shell
# java
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH
退出保存,并刷新环境变量
shell
source /etc/profile
此时,重新测试环境,如果没有问题,恭喜你一切顺利!
Hadoop环境
创建目录
现在根目录下创建
shell
sudo mkdir /opt/software
sudo mkdir /opt/servers
创建完毕后,进入 软件的目录。
shell
cd /opt/software
下载文件
我们直接使用 wget
工具来帮助我们下载:
shell
sudo wget -O hadoop-2.9.2.tar.gz https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
解压文件
将文件解压到 servers
目录下
shell
sudo tar -zxvf hadoop-2.9.2.tar.gz -C /opt/servers
我们查看当前的目录:
环境变量
打开环境配置
shell
sudo vim /etc/profile
在最底部加入如下的内容:
shell
# HADOOP_HOME
export HADOOP_HOME=/opt/servers/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
刷新环境变量
shell
source /etc/profile
验证环境
shell
hadoop version
如果出现如图的内容,那么恭喜你!已经完成了初步的Java和Hadoop的环境配置!