一、环境安装前说明
大数据(Big data):
大数据就是非常多的数据,一台服务器(我们这说的服务器大家可以理解为一台电脑,实际上它也是一台拥有超级性能的电脑,只不过硬件配置比我们现在常用、见过的电脑好得多)存不下,那么怎么办?
当然解决的办法很简单---就是一台不够3台,3台不够再来10台。
但是我们没钱买服务器怎么办?而且一买就是多台?那我们如何学习?
答案很简单:
采用电脑中的电脑 ---虚拟机 :就是用通过现有的电脑,用一个虚拟的软件,可以虚拟出多台服务器,当然我们这里只需要虚拟出三台,可供学习竞赛用即可。
这个虚拟软件就是接下来我们天天要打交道的,他们名字是:VMware
二、VM ware安装
注意事项
版本号:VMware Workstation 16/17 安装包
安装路径不要有中文、不要装在 C 盘(建议 D 盘,新建文件夹命名 "VMware");
强调:必须 "以管理员身份运行" 安装包,否则会安装失败(重点提醒)。
安装步骤
步骤 1:找到安装包,右键→以管理员身份运行,弹出用户账户控制,点击 "是";
步骤 2:进入欢迎界面,点击 "下一步";
步骤 3:接受许可协议,勾选"我接受许可协议中的条款",点击 "下一步";
步骤 4:选择安装路径,点击 "更改",选择 D 盘 "VMware" 文件夹,点击 "确定",再点击 "下一步";

步骤 5:用户体验设置,取消勾选"启动时检查产品更新" 和 "加入 VMware 客户体验提升计划"(避免后续弹窗,影响训练),点击 "下一步";

步骤 6:快捷方式设置,勾选 "桌面快捷方式" 和 "开始菜单程序文件夹",点击 "下一步";
步骤 7:点击 "安装",等待进度条走完(约 2-5 分钟,提醒学生不要中途关闭);
步骤 8:安装完成后,取消勾选 "自动检查更新",点击 "完成",启动 VMware;
步骤 9:(可选)输入许可证密钥(提供统一密钥,粘贴即可),完成激活,进入主界面。

三、虚拟机创建
接下来先配置一台服务器(电脑),就可以用我们刚安装的VM ware来生成虚拟的,并不是真买来配置。(其实就你我们日常生活中去买一台电脑,当然你得看看这台电脑需要的相关硬件配置)
步骤 1:打开 VMware,点击 "创建新的虚拟机",选择 "典型(推荐)",点击 "下一步";
步骤 2:选择 "稍后安装操作系统",下一步;

步骤 3:客户机操作系统选择:Linux,版本选择Ubuntu 64位,点击下一步;

步骤 4:命名虚拟机:名字自己取一个可以选择默认(就相当于给你的新电脑贴个标签在标签上写个名字好区分,以后电脑多了还好分辨),安装位置需要更改(不要装在C盘,可以先在D盘建一个文件夹,为了方便记我就取个Ubuntu),下一步;

步骤5:指定硬盘大小,将虚拟磁盘存储为单个文件(方便备份、迁移),下一步;

步骤 6:点击 "自定义硬件",进行核心配置(竞赛标准,固定参数,不允许修改):
- 内存:设置为 "4096MB"(4G,最低不低于 2G,否则后续 Hadoop 搭建会卡顿);
- 处理器:设置为 "2 核"(根据本机配置调整,最低 1 核);
- 网络适配器:选择 "NAT 模式"(重点讲解:NAT 模式能让虚拟机和本机共用网络,方便后续连接赛场 CentOS 集群);
- 移除 "打印机""声卡"(无用,减少资源占用);
步骤 7:点击 "完成"

第一、二个框就是前面的命名,第三框就是我们现在电脑的硬件配置。
现在我们创建了一台虚拟机,就相当于我们买了一台电脑,但是光有硬件不行,还需要安装操作系统,下面我们就进行操作系统的安装。
四、Ubuntu 20.04 系统版安装
操作系统我们选择Linux系统的其中一个发行版Ubuntu 20.04(64位)
关于操作系统知识,我们可以在文章后面的补充知识学习。
安装操作系统步骤如下:
步骤一:编辑此虚拟机设置----->>>CD/DID(SATA)自动检测------->>>使用ISO映像文件,浏览找到ubuntu 20.04的ISO文件(会提供),确定。

步骤二:开启虚拟机,就进行安装中,loading....................耐心等待,时长跟你使用的电脑配置有关。

步骤三:选择语言----->>>English------->>>Install Ubuntu(Install:安装)----->>>continue

步骤四:更新及其他软件----->>>Minimal installation----->>>continue

更新及其他软件
您想先安装哪些应用程序?
- 常规安装
网络浏览器、实用工具、办公软件、游戏和媒体播放器。- 最小化安装
网络浏览器和基础实用工具。其他选项
\] 安装Ubuntu时下载更新 这样可以节省安装后的更新时间。
该软件受随附文档中的许可条款约束,部分为专有软件。退出 上一步 继续。
步骤五:安装类型----->>>Erase disk and install Ubuntu----->>>Install Now----->>>continue

安装类型
此计算机当前未检测到任何操作系统。您想执行以下哪项操作?
- 擦除磁盘并安装Ubuntu
警告:这将删除所有操作系统中的所有程序、文档、照片、音乐及其他文件。
高级功能... 未选择- 其他选项
您可以自行创建或调整分区大小,也可以为Ubuntu选择多个分区。退出 上一步 现在安装
步骤六:选择时区----->>>删除原有,输入shang可以选择上海时区的拼音----->>>continue
步骤七:配置操作系统----->>>continue

记住密码:方便练习统一用123456
你是谁?
你的姓名:
你的计算机名称 :
这是它与其他计算机通信时使用的名称。
选择用户名:
设置密码:
确认密码:
○ 自动登录
● 需要密码才能登录
□ 使用Active Directory
你将在下一步输入域和其他详细信息。
返回 继续
等待安装好后需要重启,重新启动一下输入密码登录。

测试网络
快捷键:Ctrl + Alt + T (或右右击桌面空白处选择open in terminal打开) 认识命令行界面,为后续命令课做准备
运行 ----->>> ping www.baidu.com 能通即网络正常 Ctrl + C 退出当前命令

五、虚拟机快照与基础操作
1.快照作用
快照相当于 "虚拟机的备份",后续安装系统、配置环境时,每完成一个关键步骤,创建一个快照,一旦操作失误,可一键还原到之前的状态,避免重复安装,节省备赛时间
白话说就是:我们平时安装系统怎么都要花费点时候,但我们可以备份(快照),不小时弄坏了,或者错了,可以快速恢复到现在最安安装这个界面。
强调:竞赛训练中,每次完成核心操作(如安装系统、配置 JDK),必须创建快照,养成备份习惯。
2.快照创建与还原
步骤 1:选中新建的虚拟机,点击 "快照"→"拍摄快照";
步骤 2:输入快照名称(规范命名:编号_操作,如 "001_新系统"),简单填写描述,点击 "拍摄",等待完成(约 1 分钟);
步骤 3:演示还原快照:点击 "快照"→"快照管理器",选中创建的快照,点击 "还原",确认还原,等待虚拟机重启,即可回到快照状态;
提醒:不要随意删除快照,后续训练会多次用到。
六、补充知识
1.关于Ubuntu系统的root用户
因为Ubuntu默认没有设置root用户的密码,所以直接用
su - root会验证失败,你可以通过以下方式解决:
- 先通过sudo获取root权限,再设置root密码
- 先在终端输入
sudo -i,验证当前用户的密码后进入root会话- 输入
passwd命令,按照提示设置root用户的密码- 设置完成后,就可以用
su - root命令,输入刚设置的root密码来切换了- 直接用sudo执行命令(推荐)
如果你只是想临时以root权限执行单条命令,不需要完整切换到root环境,直接在命令前加sudo即可,比如sudo apt update,输入当前用户的密码就能执行,这种方式更安全,也符合Ubuntu的权限管理逻辑另外需要注意,尽量不要长期以root用户操作,避免误操作导致系统故障,日常操作用普通用户+sudo的方式更稳妥。
2.计算机系统
计算机系统由硬件系统和软件系统两大部分构成,二者协同工作,共同实现计算、存储、控制等功能。
硬件是计算机的物理实体,主要由以下五大部件构成:
- **中央处理器(CPU)**:由运算器和控制器组成,负责执行指令和处理数据,是计算机的"大脑"。
- 存储器:包括内存(如RAM)和外存(如硬盘、SSD),用于存储程序和数据。内存速度快但断电后数据丢失,外存容量大且可长期保存数据。
- 输入设备:如键盘、鼠标、扫描仪等,用于将外部信息输入到计算机中。
- 输出设备:如显示器、打印机、音响等,用于将计算机处理的结果呈现给用户。
- 主板与总线系统:主板连接并协调各硬件组件,总线则负责在部件间传输数据和控制信号。
其实就是我们建虚拟机的时候设置的东西
软件是运行在硬件上的程序和数据集合,分为两类:
- 系统软件 :包括操作系统(如Windows、Linux)、编译器、驱动程序等,负责管理硬件资源、提供运行环境。
- 应用软件:如办公软件(Word)、浏览器、游戏等,是用户为完成特定任务而使用的程序。
就是我们后面安装的Ubuntu操作系统
软硬件之间的关系
- 硬件是软件运行的基础:没有硬件,软件无法加载和执行,仅有硬件的计算机称为"裸机",无法完成实际任务。
- 软件是硬件功能的扩展与控制:硬件能力通过软件得以发挥,操作系统调度资源,应用软件实现具体功能。
- 相互依存、缺一不可:软硬件必须协同工作,才能构成一个完整的、可用的计算机系统。
3.Linux系统与Ubuntu系统
Linux是操作系统内核,而Ubuntu是基于Linux内核的完整操作系统发行版。两者关系如同发动机与整车,Linux提供核心功能,Ubuntu在此基础上构建了完整的用户可用系统。
Linux系统详解
- 本质 :Linux 是一个开源的操作系统内核,由林纳斯·托瓦兹于1991年发布,负责管理硬件资源(如CPU、内存、设备驱动等)和系统调用。
- 功能模块 :
- 进程管理:控制程序的创建、调度与终止。
- 内存管理:分配与回收内存空间。
- 文件系统:支持ext4、XFS等多种格式,组织存储数据。
- 设备控制:通过驱动程序与硬件交互。
- 网络管理:处理网络通信协议与数据传输。
- 特点:仅内核无法直接使用,需搭配GNU工具链、Shell、应用程序等组成完整系统。
其实就是核心
Ubuntu系统详解
- 定位 :Ubuntu 是基于 Debian 的 Linux 发行版,由 Canonical 公司维护,集成了 Linux 内核与大量预装软件,提供开箱即用的体验。
- 核心组件 :
- Linux 内核:作为底层驱动核心。
- GNU 工具链:提供基础命令(如ls、cp、grep)。
- 桌面环境:默认使用 GNOME,图形化界面友好,适合新手。
- 包管理系统 :采用 APT(
.deb包)和 Snap,支持一键安装软件。- 安全机制:默认启用 AppArmor、防火墙(ufw),自动推送安全更新。
其实就是包装了Linux,提供图形化界面,方便用用户使用,适合新手
维度 Linux(内核) Ubuntu(发行版) 性质 操作系统内核 完整的操作系统 可用性 不能单独使用 可直接安装使用 用户界面 无图形界面(需自行搭建) 默认提供图形化桌面 软件管理 无统一标准 支持APT、Snap,软件中心一键安装 适用人群 开发者、系统工程师 普通用户、开发者、企业用户 更新周期 由社区不定期发布 固定每6个月更新,LTS版支持长达5年
典型应用场景
Linux 内核:广泛用于 Android 系统、嵌入式设备、服务器底层、超级计算机等。
Ubuntu:
桌面用户:适合日常办公、编程开发、学习使用。
服务器部署:Ubuntu Server 版本广泛用于云计算(如 AWS、阿里云)、容器化(Docker/K8s)环境。
物联网与边缘计算:Ubuntu Core 为 IoT 设备提供轻量级安全系统。