大数据赛项(中职组)-VMware+Ubuntu环境安装

一、环境安装前说明

大数据(Big data):

大数据就是非常多的数据,一台服务器(我们这说的服务器大家可以理解为一台电脑,实际上它也是一台拥有超级性能的电脑,只不过硬件配置比我们现在常用、见过的电脑好得多)存不下,那么怎么办?

当然解决的办法很简单---就是一台不够3台,3台不够再来10台。

但是我们没钱买服务器怎么办?而且一买就是多台?那我们如何学习?

答案很简单:

采用电脑中的电脑 ---虚拟机就是用通过现有的电脑,用一个虚拟的软件,可以虚拟出多台服务器,当然我们这里只需要虚拟出三台,可供学习竞赛用即可。

这个虚拟软件就是接下来我们天天要打交道的,他们名字是:VMware

二、VM ware安装

注意事项

版本号:VMware Workstation 16/17 安装包

安装路径不要有中文、不要装在 C 盘(建议 D 盘,新建文件夹命名 "VMware");

强调:必须 "以管理员身份运行" 安装包,否则会安装失败(重点提醒)。

安装步骤

步骤 1:找到安装包,右键→以管理员身份运行,弹出用户账户控制,点击 "是";

步骤 2:进入欢迎界面,点击 "下一步";

步骤 3:接受许可协议,勾选"我接受许可协议中的条款",点击 "下一步";

步骤 4:选择安装路径,点击 "更改",选择 D 盘 "VMware" 文件夹,点击 "确定",再点击 "下一步";

步骤 5:用户体验设置,取消勾选"启动时检查产品更新" 和 "加入 VMware 客户体验提升计划"(避免后续弹窗,影响训练),点击 "下一步";

步骤 6:快捷方式设置,勾选 "桌面快捷方式" 和 "开始菜单程序文件夹",点击 "下一步";

步骤 7:点击 "安装",等待进度条走完(约 2-5 分钟,提醒学生不要中途关闭);

步骤 8:安装完成后,取消勾选 "自动检查更新",点击 "完成",启动 VMware;

步骤 9:(可选)输入许可证密钥(提供统一密钥,粘贴即可),完成激活,进入主界面。

三、虚拟机创建

接下来先配置一台服务器(电脑),就可以用我们刚安装的VM ware来生成虚拟的,并不是真买来配置。(其实就你我们日常生活中去买一台电脑,当然你得看看这台电脑需要的相关硬件配置)

步骤 1:打开 VMware,点击 "创建新的虚拟机",选择 "典型(推荐)",点击 "下一步";

步骤 2:选择 "稍后安装操作系统",下一步;

步骤 3:客户机操作系统选择:Linux,版本选择Ubuntu 64位,点击下一步;

步骤 4:命名虚拟机:名字自己取一个可以选择默认(就相当于给你的新电脑贴个标签在标签上写个名字好区分,以后电脑多了还好分辨),安装位置需要更改(不要装在C盘,可以先在D盘建一个文件夹,为了方便记我就取个Ubuntu),下一步;

步骤5:指定硬盘大小,将虚拟磁盘存储为单个文件(方便备份、迁移),下一步;

步骤 6:点击 "自定义硬件",进行核心配置(竞赛标准,固定参数,不允许修改):

  • 内存:设置为 "4096MB"(4G,最低不低于 2G,否则后续 Hadoop 搭建会卡顿);
  • 处理器:设置为 "2 核"(根据本机配置调整,最低 1 核);
  • 网络适配器:选择 "NAT 模式"(重点讲解:NAT 模式能让虚拟机和本机共用网络,方便后续连接赛场 CentOS 集群);
  • 移除 "打印机""声卡"(无用,减少资源占用);

步骤 7:点击 "完成"

第一、二个框就是前面的命名,第三框就是我们现在电脑的硬件配置。

现在我们创建了一台虚拟机,就相当于我们买了一台电脑,但是光有硬件不行,还需要安装操作系统,下面我们就进行操作系统的安装。

四、Ubuntu 20.04 系统版安装

操作系统我们选择Linux系统的其中一个发行版Ubuntu 20.04(64位)

关于操作系统知识,我们可以在文章后面的补充知识学习。

安装操作系统步骤如下:

步骤一:编辑此虚拟机设置----->>>CD/DID(SATA)自动检测------->>>使用ISO映像文件,浏览找到ubuntu 20.04的ISO文件(会提供),确定。

步骤二:开启虚拟机,就进行安装中,loading....................耐心等待,时长跟你使用的电脑配置有关。

步骤三:选择语言----->>>English------->>>Install Ubuntu(Install:安装)----->>>continue

步骤四:更新及其他软件----->>>Minimal installation----->>>continue

更新及其他软件

您想先安装哪些应用程序?

  • 常规安装
    网络浏览器、实用工具、办公软件、游戏和媒体播放器。
  • 最小化安装
    网络浏览器和基础实用工具。

其他选项

  • \] 安装Ubuntu时下载更新 这样可以节省安装后的更新时间。

    该软件受随附文档中的许可条款约束,部分为专有软件。

退出 上一步 继续。

步骤五:安装类型----->>>Erase disk and install Ubuntu----->>>Install Now----->>>continue

安装类型

此计算机当前未检测到任何操作系统。您想执行以下哪项操作?

  • 擦除磁盘并安装Ubuntu
    警告:这将删除所有操作系统中的所有程序、文档、照片、音乐及其他文件。
    高级功能... 未选择
  • 其他选项
    您可以自行创建或调整分区大小,也可以为Ubuntu选择多个分区。

退出 上一步 现在安装

步骤六:选择时区----->>>删除原有,输入shang可以选择上海时区的拼音----->>>continue

步骤七:配置操作系统----->>>continue

记住密码:方便练习统一用123456

你是谁?

  • 你的姓名‌:

  • 你的计算机名称 ‌:

    这是它与其他计算机通信时使用的名称。

  • 选择用户名‌:

  • 设置密码‌:

  • 确认密码‌:

  • ○ 自动登录

  • ● 需要密码才能登录

  • □ 使用Active Directory

    你将在下一步输入域和其他详细信息。

返回 继续

等待安装好后需要重启,重新启动一下输入密码登录。

测试网络

快捷键:Ctrl + Alt + T (或右右击桌面空白处选择open in terminal打开) 认识命令行界面,为后续命令课做准备

运行 ----->>> ping www.baidu.com 能通即网络正常 Ctrl + C 退出当前命令

五、虚拟机快照与基础操作

1.快照作用

快照相当于 "虚拟机的备份",后续安装系统、配置环境时,每完成一个关键步骤,创建一个快照,一旦操作失误,可一键还原到之前的状态,避免重复安装,节省备赛时间

白话说就是:我们平时安装系统怎么都要花费点时候,但我们可以备份(快照),不小时弄坏了,或者错了,可以快速恢复到现在最安安装这个界面。

强调:竞赛训练中,每次完成核心操作(如安装系统、配置 JDK),必须创建快照,养成备份习惯。

2.快照创建与还原

步骤 1:选中新建的虚拟机,点击 "快照"→"拍摄快照";

步骤 2:输入快照名称(规范命名:编号_操作,如 "001_新系统"),简单填写描述,点击 "拍摄",等待完成(约 1 分钟);

步骤 3:演示还原快照:点击 "快照"→"快照管理器",选中创建的快照,点击 "还原",确认还原,等待虚拟机重启,即可回到快照状态;

提醒:不要随意删除快照,后续训练会多次用到。

六、补充知识

1.关于Ubuntu系统的root用户

因为Ubuntu默认没有设置root用户的密码,所以直接用su - root会验证失败,你可以通过以下方式解决:

  1. 先通过sudo获取root权限,再设置root密码
    • 先在终端输入sudo -i,验证当前用户的密码后进入root会话
    • 输入passwd命令,按照提示设置root用户的密码
    • 设置完成后,就可以用su - root命令,输入刚设置的root密码来切换了
  2. 直接用sudo执行命令(推荐)
    如果你只是想临时以root权限执行单条命令,不需要完整切换到root环境,直接在命令前加sudo即可,比如sudo apt update,输入当前用户的密码就能执行,这种方式更安全,也符合Ubuntu的权限管理逻辑

另外需要注意,尽量不要长期以root用户操作,避免误操作导致系统故障,日常操作用普通用户+sudo的方式更稳妥。

2.计算机系统

计算机系统由硬件系统和软件系统两大部分构成‌,二者协同工作,共同实现计算、存储、控制等功能。

硬件是计算机的物理实体,主要由以下五大部件构成:

  1. ‌**中央处理器(CPU)**‌:由运算器和控制器组成,负责执行指令和处理数据,是计算机的"大脑"。
  2. 存储器‌:包括内存(如RAM)和外存(如硬盘、SSD),用于存储程序和数据。内存速度快但断电后数据丢失,外存容量大且可长期保存数据。
  3. 输入设备‌:如键盘、鼠标、扫描仪等,用于将外部信息输入到计算机中。
  4. 输出设备‌:如显示器、打印机、音响等,用于将计算机处理的结果呈现给用户。
  5. 主板与总线系统‌:主板连接并协调各硬件组件,总线则负责在部件间传输数据和控制信号。

其实就是我们建虚拟机的时候设置的东西

软件是运行在硬件上的程序和数据集合,分为两类:

  1. 系统软件 ‌:包括操作系统(如Windows、Linux)、编译器、驱动程序等,负责管理硬件资源、提供运行环境。
  2. 应用软件‌:如办公软件(Word)、浏览器、游戏等,是用户为完成特定任务而使用的程序。

就是我们后面安装的Ubuntu操作系统

软硬件之间的关系

  • 硬件是软件运行的基础‌:没有硬件,软件无法加载和执行,仅有硬件的计算机称为"裸机",无法完成实际任务。
  • 软件是硬件功能的扩展与控制‌:硬件能力通过软件得以发挥,操作系统调度资源,应用软件实现具体功能。
  • 相互依存、缺一不可‌:软硬件必须协同工作,才能构成一个完整的、可用的计算机系统。

3.Linux系统与Ubuntu系统

Linux是操作系统内核,而Ubuntu是基于Linux内核的完整操作系统发行版‌。两者关系如同发动机与整车,Linux提供核心功能,Ubuntu在此基础上构建了完整的用户可用系统。

Linux系统详解

  • 本质 ‌:Linux 是一个‌开源的操作系统内核‌,由林纳斯·托瓦兹于1991年发布,负责管理硬件资源(如CPU、内存、设备驱动等)和系统调用。
  • 功能模块 ‌:
    • 进程管理:控制程序的创建、调度与终止。
    • 内存管理:分配与回收内存空间。
    • 文件系统:支持ext4、XFS等多种格式,组织存储数据。
    • 设备控制:通过驱动程序与硬件交互。
    • 网络管理:处理网络通信协议与数据传输。
  • 特点‌:仅内核无法直接使用,需搭配GNU工具链、Shell、应用程序等组成完整系统。

其实就是核心

Ubuntu系统详解

  • 定位 ‌:Ubuntu 是基于 ‌Debian 的 Linux 发行版‌,由 Canonical 公司维护,集成了 Linux 内核与大量预装软件,提供开箱即用的体验。
  • 核心组件 ‌:
    • Linux 内核‌:作为底层驱动核心。
    • GNU 工具链‌:提供基础命令(如ls、cp、grep)。
    • 桌面环境‌:默认使用 GNOME,图形化界面友好,适合新手。
    • 包管理系统 ‌:采用 APT(.deb 包)和 Snap,支持一键安装软件。
    • 安全机制‌:默认启用 AppArmor、防火墙(ufw),自动推送安全更新。

其实就是包装了Linux,提供图形化界面,方便用用户使用,适合新手

维度 Linux(内核) Ubuntu(发行版)
性质 操作系统内核 完整的操作系统
可用性 不能单独使用 可直接安装使用
用户界面 无图形界面(需自行搭建) 默认提供图形化桌面
软件管理 无统一标准 支持APT、Snap,软件中心一键安装
适用人群 开发者、系统工程师 普通用户、开发者、企业用户
更新周期 由社区不定期发布 固定每6个月更新,LTS版支持长达5年

典型应用场景

Linux 内核‌:广泛用于 Android 系统、嵌入式设备、服务器底层、超级计算机等。

Ubuntu‌:

桌面用户‌:适合日常办公、编程开发、学习使用。

服务器部署‌:Ubuntu Server 版本广泛用于云计算(如 AWS、阿里云)、容器化(Docker/K8s)环境。

物联网与边缘计算‌:Ubuntu Core 为 IoT 设备提供轻量级安全系统。

相关推荐
cl131413141 小时前
烟气测量格恩朗流量计选型指南
大数据·网络·人工智能·产品运营
xixixi777771 小时前
国内首家“AI+量子”实体公司成立:量智开物发布“追风”“扁鹊”,开启下一代计算文明大门
大数据·网络·人工智能·安全·ai·科大讯飞·量子计算
BizViewStudio1 小时前
甄选2026:AI重构新媒体代运营行业的三大核心变革与落地路径
大数据·人工智能·新媒体运营·媒体
weixin_307779132 小时前
SparkPySetup:基于Python的Windows 11 PySpark环境自动化搭建工具
大数据·开发语言·python·spark
XS0301062 小时前
Agent 记忆管理
大数据·人工智能·算法
lifewange2 小时前
Hadoop 全套常用 Shell 命令完整版
大数据·hadoop·npm
renhongxia12 小时前
从内部进行大型语言模型安全
大数据·人工智能·安全·语言模型·自然语言处理·逻辑回归
源码之家2 小时前
计算机毕业设计:Python股票数据分析与ARIMA预测系统 Flask框架 ARIMA 数据分析 可视化 大数据 大模型(建议收藏)✅
大数据·python·数据挖掘·数据分析·django·flask·课程设计
JoyCong19982 小时前
告别频繁输入密码!ToDesk自动解锁功能,实现远程办公“无感”连接
大数据·linux·服务器·网络·电脑·远程操作