spark 常见操作命令

配置虚拟机

配置即让自己的虚拟机可以联网,和别的虚拟机通讯

一、配置vm虚拟机网段。

具体设置为:虚拟机左上角点击编辑→虚拟网络编辑器

选择VMnet8, 要改动两个地方(注意:它会需要管理员权限):

  1. 子网IP改成192.168.10.0

  2. NAT设置 → 192.168.10.2

让所有的VM配置的虚拟机使用NAT时,它们的网段都是一致的。

注意:这里的第三个部分的10并不是固定的,我们自己可以约定,但是约定之后就要固定下来。

二、 配置Windows本地虚拟网卡,让本机也可以访问虚拟机。

具体设置为:选择控制面板 → 网络连接 → VMware network Adapter Vmnet8

点击右键,IP4协议,改成如下:

IP4地址:192.168.10.1

IPV4网关:192.168.10.2

这里要注意一下:VMware net work Adpater VMnet8是安装了Vm这个软件之后会自动产生的。

三、设置虚拟机hadoop100的IP。

具体设置为:进入虚拟机,修改对应的IP。

(1)vi /etc/sysconfig/network-scripts/ifcfg-ens33

通过vi编辑器去修改配置文件(ip地址)

修改完成之后,esc退出编辑模式, :wq 保存退出。

四、重启系统并检查是否能Ping通外网。

重启的命令是reboot,检查是否能Ping通外网。命令是:ping www.baidu.com

reboot 重启。

再登录,通过ping 命令检查是否能连接外网 (若要断开连接按ctrl+c)

(1) 修改主机名称。命令是:vi /etc/hostname

eg:修改打开的文件内容为: hadoop100

注:它不会立马生效,需要重启系统才生效!

(2)配置IP地址和主机名的映射。命令是:vi /etc/hosts

在这个文件的最后一行添加一句:

IP地址 +主机名

eg:192.168.10.100 hadoop100

(3) 最后,关闭服务器的防火墙。对应的命令是:

systemctl stop firewalld

systemctl disable firewalld.service

(4) 重启

reboot

finalShell软件

作用:链接远程VM

一、安装finalShell

二、启动连接VM

相关推荐
鸿乃江边鸟1 小时前
Spark Datafusion Comet 向量化Rust Native--CometShuffleExchangeExec怎么控制读写
大数据·rust·spark·native
伟大的大威1 天前
NVIDIA DGX Spark (ARM64/Blackwell) Kubernetes 集群 + GPU Operator 完整部署指南
大数据·spark·kubernetes
小邓睡不饱耶1 天前
深度实战:Spark GraphX构建用户信任网络,精准锁定高价值目标用户(含完整案例)
大数据·spark·php
B站计算机毕业设计超人1 天前
计算机毕业设计hadoop+spark+hive共享单车预测系统 共享单车数据可视化分析 大数据毕业设计(源码+LW文档+PPT+讲解)
大数据·hadoop·python·深度学习·spark·毕业设计·课程设计
B站计算机毕业设计超人1 天前
计算机毕业设计Python+Spark+Hadoop+Hive微博舆情分析 微博情感分析可视化 大数据毕业设计(源码+LW文档+PPT+讲解)
大数据·hadoop·爬虫·python·spark·cnn·课程设计
yumgpkpm1 天前
华为昇腾300T A2训练、微调Qwen过程,带保姆式命令,麒麟操作系统+鲲鹏CPU
hive·hadoop·华为·flink·spark·kafka·hbase
TTBIGDATA1 天前
【Hue】Ambari开启 Kerberos 后,Hue 使用 Spark SQL出现凭证不统一问题处理
大数据·sql·spark·ambari·kerberos·hue·bigtop
鸿乃江边鸟2 天前
Spark Datafusion Comet 向量化Rust Native--Native算子(CometNativeExec)怎么串联执行
大数据·rust·spark·native
Light602 天前
数智孪生,金流·物流全透视:构建某银行制造业贷后风控新范式—— 基于领码 SPARK 融合平台的技术解决方案
大数据·spark·数字孪生·实时监控·物联网金融·供应链风控·ai决策
小邓睡不饱耶2 天前
基于Spark GraphX构建用户信任网络:精准定位高价值目标用户
大数据·spark·php