VMware和ubuntu配置Hadoop环境

目录

一、获取VMware安装包

1、官网获取

1)首先先进入官网,官网首页是下面这样:

2)接着点击产品选项

[3)进入后点击查看所有产品,然后在右上角选择排序方式为Z到A,然后向下滑动找到Workstation Pro,然后点击进去](#3)进入后点击查看所有产品,然后在右上角选择排序方式为Z到A,然后向下滑动找到Workstation Pro,然后点击进去)

4)然后点击下载试用版进行进入下载页面进行下载

[5)点击 DOWNLOAD NOW 进行下载](#5)点击 DOWNLOAD NOW 进行下载)

2、从资料获取

二、安装VMware

1)点击下一步

2)勾选我接受许可协议中的条款,并点击下一步

3)勾选就按默认的勾选就ok,安装位置选一个自己需要安装的位置,然后点击下一步

4)这里的勾选根据自己的需要进行勾选(我这边是取消全部的勾选),并点击下一步

5)按默认的勾选就行,并点击下一步

6)点击安装,等待安装完成

7)安装完成后,运行VMware

8)输入密钥:MC60H-DWHD5-H80U9-6V85M-8280D,并点击继续

9)点击完成

10)点击完成后的界面如下

​三、下载Ubuntu镜像文件

1、官网下载

2、从资料获取

四、开始配置Hadoop环境

1)首先打开安装好的VMware,并点击创建新的虚拟机

[2) 出现下面界面,点击下一步(默认勾选的就ok)](#2) 出现下面界面,点击下一步(默认勾选的就ok))

3)勾选稍后安装操作系统,并点击下一步

4)然后选择并配置好下图的配置,并点击下一步

5)编辑自己想要的虚拟机名称,并选择位置,然后点击下一步

6)磁盘空间自行分配(本人分配40G),勾选将虚拟磁盘存储为单个文件,然后点击下一步

7)点击自定义硬件

[8)内存分配2048MB(内存根据需要自行分配,最少1024MB),然后选择 新 CD/DVD,勾选使用 ISO 映像文件(之前下在好的文件),然后关闭](#8)内存分配2048MB(内存根据需要自行分配,最少1024MB),然后选择 新 CD/DVD,勾选使用 ISO 映像文件(之前下在好的文件),然后关闭)

[​编辑 9)点击完成,之后出现下面界面,点击开启此虚拟机](#编辑 9)点击完成,之后出现下面界面,点击开启此虚拟机)

10)按下Enter键

[11)选择自己需要的语言后,并点击安装 Ubuntu ​编辑](#11)选择自己需要的语言后,并点击安装 Ubuntu 编辑)

12)选择默认勾选就可以,然后点击继续

13)默认勾选就行,然后点击继续

14)默认勾选就ok,点击现在安装

15)点击继续

16)点击继续

17)输入自己需要的姓名和密码,并勾选自动登录,然后点击继续,会出现以下界面,等待这个过程完成

[18)按住 ctrl+alt+t 打开终端窗口,输入如下命令创建新用户 hadoop :](#18)按住 ctrl+alt+t 打开终端窗口,输入如下命令创建新用户 hadoop :)

[19) 输入下面的命令,为创建的用户 hadoop 设置密码 hadoop(这里密码可自己设置):](#19) 输入下面的命令,为创建的用户 hadoop 设置密码 hadoop(这里密码可自己设置):)

[20)使用下面的命令设置密码,可以简单设置为 hadoop](#20)使用下面的命令设置密码,可以简单设置为 hadoop)

[21)为了方便部署,使用下面命令为 hadoop 用添加管理员权限](#21)为了方便部署,使用下面命令为 hadoop 用添加管理员权限)

22)注销当前用户(注销位置在右上角那),使用刚才创建的用户登录

23)登录进去后,打开命令窗口,首先使用下面命令对软件进行更新

[24)使用下面命令安装 openssh -server](#24)使用下面命令安装 openssh -server)

25)ssh每次登录还是需要密码。我们使用下面这些命令配置成无密码登录

[26)安装JAVA 环境](#26)安装JAVA 环境)

[27)安装 Hadoop](#27)安装 Hadoop)

[28)Hadoop 伪分布式配置](#28)Hadoop 伪分布式配置)


本博客主要是为了学校课程"大数据与云计算"需要安装Hadoop而写,希望这篇博客对各位阅读这篇博客的人有所帮助。废话不多说,下面直接开始配置教程。

一、获取VMware安装包

VMware获取方法有很多种,这里我准备了官网获取和从我准备的资料中获取。

1、官网获取

1)首先先进入官网,官网首页是下面这样:
2)接着点击产品选项
3)进入后点击查看所有产品,然后在右上角选择排序方式为Z到A,然后向下滑动找到Workstation Pro,然后点击进去
4)然后点击下载试用版进行进入下载页面进行下载
5)点击 DOWNLOAD NOW 进行下载

2、从资料获取

阿里云盘:https://www.aliyundrive.com/s/nVT1oCtk6rC

提取码:4pu8

二、安装VMware

点击下载好的VMware安装包进行安装。

1)点击下一步
2)勾选我接受许可协议中的条款,并点击下一步
3)勾选就按默认的勾选就ok,安装位置选一个自己需要安装的位置,然后点击下一步
4)这里的勾选根据自己的需要进行勾选(我这边是取消全部的勾选),并点击下一步
5)按默认的勾选就行,并点击下一步
6)点击安装,等待安装完成
7)安装完成后,运行VMware
8)输入密钥:MC60H-DWHD5-H80U9-6V85M-8280D,并点击继续
9)点击完成
10)点击完成后的界面如下

三、下载Ubuntu镜像文件

1、官网下载

官网:Download Ubuntu Desktop | Download | Ubuntu

官网界面如下:

1)点击右下角的 Download 22.03.3 进行下载(LTS是长期支持版本,选择这个版本),并等待下载完成

2、从资料获取

阿里云盘:https://www.aliyundrive.com/s/nVT1oCtk6rC

提取码:4pu8

四、开始配置Hadoop环境

1)首先打开安装好的VMware,并点击创建新的虚拟机
2) 出现下面界面,点击下一步(默认勾选的就ok)
3)勾选稍后安装操作系统,并点击下一步
4)然后选择并配置好下图的配置,并点击下一步
5)编辑自己想要的虚拟机名称,并选择位置,然后点击下一步
6)磁盘空间自行分配(本人分配40G),勾选将虚拟磁盘存储为单个文件,然后点击下一步
7)点击自定义硬件
8)内存分配2048MB(内存根据需要自行分配,最少1024MB),然后选择 新 CD/DVD,勾选使用 ISO 映像文件(之前下在好的文件),然后关闭
9)点击完成,之后出现下面界面,点击开启此虚拟机

10)按下Enter键
11)选择自己需要的语言后,并点击安装 Ubuntu
12)选择默认勾选就可以,然后点击继续
13)默认勾选就行,然后点击继续
14)默认勾选就ok,点击现在安装
15)点击继续
16)点击继续
17)输入自己需要的姓名和密码,并勾选自动登录,然后点击继续,会出现以下界面,等待这个过程完成

注:完成后需要重启系统,如果进不去系统的话,直接将VMWare关闭,再打开,然后开启虚拟机。

18)按住 ctrl+alt+t 打开终端窗口,输入如下命令创建新用户 hadoop :
sudo useradd --m hadoop --s /bin/bash

注:这里的密码是我们创建的用户密码(我这里创建的是 blue 用户)

19) 输入下面的命令,为创建的用户 hadoop 设置密码 hadoop(这里密码可自己设置):
sudo passwd hadoop
20)使用下面的命令设置密码,可以简单设置为 hadoop
sudo passwd hadoop

注:

  1. 这里输入的密码是不可见的,直接输入就可以

2.如果出现 无效密码: 密码至少 8 个字符,只需要把之前设置的密码重新输入即可

21)为了方便部署,使用下面命令为 hadoop 用添加管理员权限
sudo adduser hadoop sudo
22)注销当前用户(注销位置在右上角那),使用刚才创建的用户登录

选择刚才我们创建的用户(这里为 hadoop)

输入为用户 hadoop 设置的密码,登录进去

23)登录进去后,打开命令窗口,首先使用下面命令对软件进行更新
sudo apt-get install
24)使用下面命令安装 openssh -server
sudo apt-get install openssh-server

注:如果出现 您希望继续执行吗?[Y/n] ,输入 Y 并按 Enter

25)ssh每次登录还是需要密码。我们使用下面这些命令配置成无密码登录

首先,使用下面命令实现 ssh 首次登录

ssh localhost

注:

1.选择 yes

2.密码输入我们创建 hadoop 设置的密码

使用下面命令退出刚才登录的 ssh,回到我们原先的终端窗口

exit

使用下面命令,进入 ssh 目录里

cd ~/.ssh/

利用 ssh-keygen 生成密钥

ssh-keygen --t rsa            #会有提示,按回车

利用下面命令将密码加入到授权中,此时再使用 ssh localhost 命令就不用登录密码

cat ./id_rsa.pub >> ./authorized_keys     #加入授权
26)安装JAVA 环境

使用下面命令安装 jdk

sudo apt-get install openjdk-8-jdk

使用下面命令查看Java版本,看看是否安装成功

java -version

使用下面命令进入文件并配置 JAVA_HOME

gedit ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
# = 左右不能有空格

注:修改后记得点击保存,然后点击关闭

使用下面命令使上面编辑的环境变量生效

source ~/.bashrc

使用下面的命令,看我们设置的环境变量是否生效

echo $JAVA_HOME
27)安装 Hadoop

Hadoop的安装包可以去官网安装,但是由于官网的下载速度不行,这里提供一个镜像网站进行下载Hadoop。

镜像网址:Index of /apache/hadoop (tsinghua.edu.cn)

进入此网站后,选择 common/

然后选择自己需要的版本进行下载,但注意选择扩展名为 .tar.gz 这个格式的,这是编译好的。我这里下载的版本是hadoop-2.10.2.tar.gz

下载完成后,使用下面命令进行解压操作(将原先的命令窗口关闭再打开,然后输入下面命令)

sudo tar -zxf ~/下载/hadoop-2.10.2.tar.gz -C /usr/local    # 解压到/usr/local中
# 版本是自己下载的对于版本,我这里是 hadoop-2.10.2

注:

1.切换 中\英文 的方式为 super + space

windows:win + 空格

先使用下面命令进入文件夹(必须在使用命令将文件夹改名前,使用此命令

cd /usr/local/

使用下面的命令,将文件夹名改为 hadoop

sudo mv ./hadoop-2.10.2/ ./hadoop            # 将文件夹名改为hadoop

使用下面命令修改文件权限

sudo chown -R hadoop:hadoop ./hadoop        # 修改文件权限

先使用下面命令进入到hadoop 文件夹

cd /usr/local/hadoop

然后用如下命令查看我们解压的Hadoop是否可用

./bin/hadoop version
28)Hadoop 伪分布式配置

Hadoop 伪分布式配置需要修改core-site.xml和hdfs-site.xml配置文件。先使用下面命令进入到hadoop 文件夹

cd /usr/local/hadoop

使用下面命令对core-site.xml文件进行配置

gedit ./etc/hadoop/core-site.xml

利用下面代码进行配置core-site.xml文件(注意点击保存

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

使用下面命令对hdfs-site.xml文件进行配置

gedit ./etc/hadoop/hdfs-site.xml

利用下面代码进行配置hdfs-site.xml文件(注意点击保存

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

配置完成后,执行 NameNode 的格式化

./bin/hdfs namenode -format

接着使用下面命令开启 NameNode 和 DataNode 守护进程

./sbin/start-dfs.sh

jps # 判断是否成功启动

然后在浏览器输入下面网址,访问 Web 界面

http://localhost:50070

注:

如果下次进入发现连接不上服务器,需要重新执行下面命令开启服务器:

  1. cd /usr/local/hadoop

  2. ./sbin/start-dfs.sh

注:

Hadoop 3.x 起,启动端口变成了9870,而不是50070.(我下载的 Hadoop 2.x,故用端口 50070)


至此,配置完成,各位观看老爷感觉不错的话,能留下一个小小的点赞不过分吗,同时也希望各位生活愉快、事事顺心。

相关推荐
韩楚风1 小时前
【linux 多进程并发】linux进程状态与生命周期各阶段转换,进程状态查看分析,助力高性能优化
linux·服务器·性能优化·架构·gnu
陈苏同学1 小时前
4. 将pycharm本地项目同步到(Linux)服务器上——深度学习·科研实践·从0到1
linux·服务器·ide·人工智能·python·深度学习·pycharm
Ambition_LAO1 小时前
解决:进入 WSL(Windows Subsystem for Linux)以及将 PyCharm 2024 连接到 WSL
linux·pycharm
Pythonliu72 小时前
茴香豆 + Qwen-7B-Chat-Int8
linux·运维·服务器
你疯了抱抱我2 小时前
【RockyLinux 9.4】安装 NVIDIA 驱动,改变分辨率,避坑版本。(CentOS 系列也能用)
linux·运维·centos
追风赶月、2 小时前
【Linux】进程地址空间(初步了解)
linux
栎栎学编程2 小时前
Linux中环境变量
linux
挥剑决浮云 -2 小时前
Linux 之 安装软件、GCC编译器、Linux 操作系统基础
linux·服务器·c语言·c++·经验分享·笔记
Data 3173 小时前
Hive数仓操作(十七)
大数据·数据库·数据仓库·hive·hadoop
小O_好好学3 小时前
CentOS 7文件系统
linux·运维·centos