Spark(5)host配置

(一.)host配置的作用:
hosts 文件是一个本地的文本文件,它的作用是将主机名映射到对应的 IP 地址,在 DNS(域名系统)解析之前,系统会先查询 hosts 文件来确定目标主机的 IP 地址。

为什么我们需要 修改本地的hosts映射

现在我们可以通过finalshell这个工具来连接我们的远程服务器,不过我们连接主机的时候,需要填入对方的ip地址 ,这个很麻烦。你可以想象一下我们到时候要连接100台服务器,那这100个ip地址是不是很不好记忆?

所以,我们需要直接使用hostname的方式来访问主机,而不需要再使用IP地址了。

)修改本地的hosts映射

hosts文件是一个没有后缀名的文本文件,它记录了本机在访问域名时的映射表。需要管理员权限才能去修改它。我们的操作有两个步骤:第一,修改hosts配置,第二使用ping命令来检查

步骤 1. 修改hosts文件

如果是win11,它在Windows/system32/hosts 文件,如果是win10,它在C:\Windows\System32\drivers\etc\hosts。

我们打开这个文件,并在最后一行的后边,添加三个新行,内容是:

192.168.10.100 hadoop100
192.168.10.101 hadoop101

192.168.10.102 hadoop102

请注意:

  1. ip地址和主机名之间有一个空格
  2. 如果你的电脑不允许你保存,你需要使用管理员权限。

步骤2:验收结果

修改成功之后,可以通过ping或finalshell连接这两种方式来测试,是否修改成功。具体操作如下:

测试方式1:用 ping hadoop100或者是ping 192.168.10.100都应该可以通。

测试方式2:finalshell新建一个连接,并使用hadoop100这个主机名来连接。

)配置 虚拟机的 yum

Yum是一个linux工具,用来从网络上下载安装软件到linux操作系统中,在此之前,我们先要确保虚拟机的网络是通畅的。


下面来介绍常见的操作:

(1)查看源

yum中的源是指它下载软件的地址。把虚拟机上的软件yum想象成你自己开的一家商场,那么yum的源就是你的供货商。通过yum repolist 命令可以去查看当前的供货商信息。

yum repolist

如果显示源信息是mirrorlist.centos.org(默认源),那就不能使用了。这个源已经失效了,就是你的默认供货商跑路了! 我们必须要去切换一个源

(2)配置源

我们需要更换一个供货商,以便能正常下载软件。网络上的免费而稳定的源有很多,这里我们选择阿里云的源。

具体的命令是:

sudo curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo

它其实是覆盖了centos-base.repo这个文件。(yum 修改阿里云)

(3)再清空缓存,让配置生效

对应的命令是:

sudo yum clean all

sudo yum makecache

(4)测试是否配置成功。

下载一个常见工具试一试,如果能下载成功, 就证明这个操作完成了。

yum install tree

使用yum 安装必备工具

上一步我们配置了yum,接下来我们就可以使用它来去安装一些基础工具。

(1)安装epel-release

Extra Packages for Enterprise Linux是为"红帽系"的操作系统提供额外的软件包,适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库,大多数rpm包在官方 repository 中是找不到的)

yum install -y epel-release

(2)安装net-tool

net-tool:工具包集合,包含ifconfig等命令

yum install -y net-tools

(3)安装 vim:编辑器。它是一个增强版的vi编辑器。

yum install -y vim

(4)安装rsync。它可以用来和其他的服务器之间保持文件同步

yum install -y rsync

(六) 修改虚拟机的本机名

默认情况下,本机的名称叫:localhost。 我们进入linux系统之后,显示出来的就是****[root@localhost ~]#****

为了方便后面我们更加便捷地访问这台主机,而不是通过ip地址,我们要重新给他取个名字。

具体的操作是打开/etc/hostname这个文件,并修改其中的内容。命令是:

vi /etc/hostname

使用vi修改之后,:wq保存退出,我这里改成了hadoop100,大家可以自行修改。

重新启动虚拟机(命令是:reboot)才能生效!你看到的就是:[root@hadoop100 ~]#

(四) 修改虚拟机的hosts配置

把虚拟机上的hosts文件修改一下。

vi /etc/hosts

修改内容如下:

192.168.10.100 hadoop100

192.168.10.101 hadoop101

192.168.10.102 hadoop103

设置3台机器,分别设置ip地址和对应的主机名

相关推荐
武子康4 小时前
大数据-239 离线数仓 - 广告业务实战:Flume 导入日志到 HDFS,并完成 Hive ODS/DWD 分层加载
大数据·后端·apache hive
字节跳动数据平台1 天前
代码量减少 70%、GPU 利用率达 95%:火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
得物技术1 天前
深入剖析Spark UI界面:参数与界面详解|得物技术
大数据·后端·spark
武子康1 天前
大数据-238 离线数仓 - 广告业务 Hive分析实战:ADS 点击率、购买率与 Top100 排名避坑
大数据·后端·apache hive
武子康2 天前
大数据-237 离线数仓 - Hive 广告业务实战:ODS→DWD 事件解析、广告明细与转化分析落地
大数据·后端·apache hive
xy123062 天前
OpenStack Train 部署实战(三)控制节点--keystone服务
centos·openstack
大大大大晴天2 天前
Flink生产问题排障-Kryo serializer scala extensions are not available
大数据·flink
武子康4 天前
大数据-236 离线数仓 - 会员指标验证、DataX 导出与广告业务 ODS/DWD/ADS 全流程
大数据·后端·apache hive
肌肉娃子5 天前
20260227.spark.Spark 性能刺客:千万别在 for 循环里写 withColumn
spark
武子康5 天前
大数据-235 离线数仓 - 实战:Flume+HDFS+Hive 搭建 ODS/DWD/DWS/ADS 会员分析链路
大数据·后端·apache hive