spark yum配置

yum配置

Yum是一个linux工具,用来从网络上下载安装软件到CentOS操作系统中。先要确保虚拟机的网络是通畅的。

(1)查看源

yum中的源是指它从哪里去下载软件。把yum想象成你自己开的一家商场,那么yum的源就是你的供货商。通过yum repolist 命令可以去查看当前的供货商信息。(如果显示源信息是mirrorlist.centos.org(默认源),那就不能使用了。这个源已经失效了,就是你的默认供货商跑路了!)

命令:yum repolist

(2)配置源

我们需要更换一个供货商,以便能正常下载软件。网络上的免费而稳定的源有很多,这里我们选择阿里云的源。

具体的命令是:

sudo curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos- 7.repo

有些系统命令不同eg:我的电脑只有下列命令可用:

sudo curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos- 7.repo

它其实是去修改了centos-base.repo这个文件。(yum 修改阿里云)

(3)再清空缓存,让配置生效

对应的命令是:

sudo yum clean all

sudo yum makecache

(4)测试是否配置成功。

下载一个常见工具试一试,如果能成功, 就证明这个操作完成了。

eg:使用命令 yum install tree

(五)使用yum安装必备工具

1 > 安装epel-release

Extra Packages for Enterprise Linux是为"红帽系"的操作系统提供额外的软件包,适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库,大多数rpm包在官方 repository 中是找不到的)

命令: yum install -y epel-release

2 > 安装net-tool

net-tool:工具包集合,包含ifconfig等命令

命令:yum install -y net-tools

3 > 安装 vim:编辑器。它是一个增强版的vi编辑器。

命令:yum install -y vim

4 > 安装rsync。它可以用来和其他的服务器之间保持文件同步

命令: yum install -y rsync

(六)修改虚拟机的本机名

默认情况下,本机的名称叫:localhost。 我们进入linux系统之后,显示出来的就是 root@localhost \~# 。为了方便后面我们更加便捷地访问这台主机,可以重新给他取个名字:

具体的操作是打开/etc/hostname这个文件,并修改其中的内容。

命令是: vi /etc/hostname

使用vi修改之后,:wq保存退出,大家可以自行修改。

重新启动虚拟机(命令是:reboot)才能生效!!!eg:改名为hadoop100 你看到的就会是:root@hadoop100 \~#

(七)修改虚拟机的hosts配置

如果是win11,它在Windows/system32/hosts 文件,如果是win10,它在C:\Windows\System32\drivers\etc\hosts。

我们打开这个文件,并在最后一行的后边,添加三个新行,内容是:IP地址 主机名 eg:192.168.56.101 hadoop100(注:IP地址和主机名之间有一个空格)

相关推荐
BYSJMG1 天前
计算机毕设选题推荐:基于大数据的公共交通运营数据分析与可视化,Spark+K-Means聚类城市运营模式
大数据·hadoop·信息可视化·数据分析·spark·kmeans·课程设计
绿算技术2 天前
Solidigm联合绿算技术共同发布《面向 SOHO AI 推理的存储扩展方案》技术白皮书
人工智能·科技·算法·架构·spark
阿里云大数据AI技术2 天前
EMR Serverless Spark:CPU + GPU 异构计算使用指南
人工智能·spark·gpu
BYSJMG3 天前
计算机毕设选题做什么好?基于大数据的用户美食数据分析与可视化,PySpark预处理+ECharts大屏,含Isolation Forest异常检测算法
大数据·python·信息可视化·数据分析·spark·课程设计·美食
2601_962295993 天前
Spark 和 Kafka 实现 Python 大规模情感分析
python·spark·kafka·情感分析·大规模处理
fastjson_3 天前
Spark 安装和使用
大数据·分布式·spark
计算机源码社3 天前
分享一个基于大数据的跨平台内容生态画像与互动等级分析系统,基于Hadoop+Spark的社交媒体互动数据可视化大屏分析
大数据·hadoop·python·机器学习·数据挖掘·spark·毕业设计
BYSJMG3 天前
计算机毕设选题做什么好?基于大数据的用户健身行为数据分析与可视化系统,Hadoop+Spark处理
大数据·人工智能·hadoop·数据分析·spark·课程设计
2601_962298094 天前
零基础学大数据分析全栈
hadoop·python·spark·实战·大数据分析
用户3610588626125 天前
SparkStreaming 之 Kafka 与 SparkStreaming 参数配置详解
大数据·spark