Spark(5)host配置

(一.)host配置的作用:
hosts 文件是一个本地的文本文件,它的作用是将主机名映射到对应的 IP 地址,在 DNS(域名系统)解析之前,系统会先查询 hosts 文件来确定目标主机的 IP 地址。

为什么我们需要 修改本地的hosts映射

现在我们可以通过finalshell这个工具来连接我们的远程服务器,不过我们连接主机的时候,需要填入对方的ip地址 ,这个很麻烦。你可以想象一下我们到时候要连接100台服务器,那这100个ip地址是不是很不好记忆?

所以,我们需要直接使用hostname的方式来访问主机,而不需要再使用IP地址了。

)修改本地的hosts映射

hosts文件是一个没有后缀名的文本文件,它记录了本机在访问域名时的映射表。需要管理员权限才能去修改它。我们的操作有两个步骤:第一,修改hosts配置,第二使用ping命令来检查

步骤 1. 修改hosts文件

如果是win11,它在Windows/system32/hosts 文件,如果是win10,它在C:\Windows\System32\drivers\etc\hosts。

我们打开这个文件,并在最后一行的后边,添加三个新行,内容是:

192.168.10.100 hadoop100
192.168.10.101 hadoop101

192.168.10.102 hadoop102

请注意:

  1. ip地址和主机名之间有一个空格
  2. 如果你的电脑不允许你保存,你需要使用管理员权限。

步骤2:验收结果

修改成功之后,可以通过ping或finalshell连接这两种方式来测试,是否修改成功。具体操作如下:

测试方式1:用 ping hadoop100或者是ping 192.168.10.100都应该可以通。

测试方式2:finalshell新建一个连接,并使用hadoop100这个主机名来连接。

)配置 虚拟机的 yum

Yum是一个linux工具,用来从网络上下载安装软件到linux操作系统中,在此之前,我们先要确保虚拟机的网络是通畅的。


下面来介绍常见的操作:

(1)查看源

yum中的源是指它下载软件的地址。把虚拟机上的软件yum想象成你自己开的一家商场,那么yum的源就是你的供货商。通过yum repolist 命令可以去查看当前的供货商信息。

yum repolist

如果显示源信息是mirrorlist.centos.org(默认源),那就不能使用了。这个源已经失效了,就是你的默认供货商跑路了! 我们必须要去切换一个源

(2)配置源

我们需要更换一个供货商,以便能正常下载软件。网络上的免费而稳定的源有很多,这里我们选择阿里云的源。

具体的命令是:

sudo curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo

它其实是覆盖了centos-base.repo这个文件。(yum 修改阿里云)

(3)再清空缓存,让配置生效

对应的命令是:

sudo yum clean all

sudo yum makecache

(4)测试是否配置成功。

下载一个常见工具试一试,如果能下载成功, 就证明这个操作完成了。

yum install tree

使用yum 安装必备工具

上一步我们配置了yum,接下来我们就可以使用它来去安装一些基础工具。

(1)安装epel-release

Extra Packages for Enterprise Linux是为"红帽系"的操作系统提供额外的软件包,适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库,大多数rpm包在官方 repository 中是找不到的)

yum install -y epel-release

(2)安装net-tool

net-tool:工具包集合,包含ifconfig等命令

yum install -y net-tools

(3)安装 vim:编辑器。它是一个增强版的vi编辑器。

yum install -y vim

(4)安装rsync。它可以用来和其他的服务器之间保持文件同步

yum install -y rsync

(六) 修改虚拟机的本机名

默认情况下,本机的名称叫:localhost。 我们进入linux系统之后,显示出来的就是****[root@localhost ~]#****

为了方便后面我们更加便捷地访问这台主机,而不是通过ip地址,我们要重新给他取个名字。

具体的操作是打开/etc/hostname这个文件,并修改其中的内容。命令是:

vi /etc/hostname

使用vi修改之后,:wq保存退出,我这里改成了hadoop100,大家可以自行修改。

重新启动虚拟机(命令是:reboot)才能生效!你看到的就是:[root@hadoop100 ~]#

(四) 修改虚拟机的hosts配置

把虚拟机上的hosts文件修改一下。

vi /etc/hosts

修改内容如下:

192.168.10.100 hadoop100

192.168.10.101 hadoop101

192.168.10.102 hadoop103

设置3台机器,分别设置ip地址和对应的主机名

相关推荐
StarRocks_labs24 分钟前
从InfluxDB到StarRocks:Grab实现Spark监控平台10倍性能提升
大数据·数据库·starrocks·分布式·spark·iris·物化视图
若兰幽竹1 小时前
【Spark分析HBase数据】Spark读取并分析HBase数据
大数据·spark·hbase
R²AIN SUITE2 小时前
金融合规革命:R²AIN SUITE 如何重塑银行业务智能
大数据·人工智能
绿算技术3 小时前
“强强联手,智启未来”凯创未来与绿算技术共筑高端智能家居及智能照明领域新生态
大数据·人工智能·智能家居
只因只因爆4 小时前
spark的缓存
大数据·缓存·spark
Leo.yuan5 小时前
3D 数据可视化系统是什么?具体应用在哪方面?
大数据·数据库·3d·信息可视化·数据分析
胖大和尚5 小时前
完整的 CentOS 6.10 虚拟机安装启动脚本
linux·运维·centos
只因只因爆5 小时前
spark小任务
大数据·分布式·spark
cainiao0806055 小时前
Java 大视界——Java 大数据在智慧交通智能停车诱导系统中的数据融合与实时更新
java·大数据·开发语言
Freedom℡5 小时前
如何将两台虚拟机进行搭桥
spark