搭建spark伪分布集群

1.先查看虚拟机的默认名称,将其修改为vm01

2.更改了主机名,还需要修改/etc/hosts文件,在这个文件设定了IP地址与主机名的对应关系,类似DNS域名服务器的功能

3.修改spark相关配置文件,包括spark-env.sh和slave两个文件

4.将localhost改为vm01 保存退出

5.重启spark集群 出现worker和master表示成功

6.测试

7.在浏览器输入:http://vm01:8080/ 查看

相关推荐
wudl55664 小时前
Flink 1.20 flink-config.yml 配置详解
大数据·flink
华东数交4 小时前
企业与国有数据资产:入表全流程管理及资产化闭环理论解析
大数据·人工智能
fruge9 小时前
Ubuntu服务器已下载Nginx安装包的安装指南
服务器·nginx·ubuntu
B站_计算机毕业设计之家10 小时前
计算机毕业设计:Python农业数据可视化分析系统 气象数据 农业生产 粮食数据 播种数据 爬虫 Django框架 天气数据 降水量(源码+文档)✅
大数据·爬虫·python·机器学习·信息可视化·课程设计·农业
孤独得猿10 小时前
聊天室项目开发——etcd的安装和使用
linux·服务器·c++·etcd
竹等寒11 小时前
Linux-网络安全私房菜(二)
linux·服务器·web安全
早睡冠军候选人11 小时前
Ansible学习----Ansible Playbook
运维·服务器·学习·云原生·容器·ansible
sulikey11 小时前
从实验出发深入理解Linux目录权限:r、w、x分别控制什么?能否进入目录到底由谁决定?
linux·运维·服务器·ubuntu·centos
Apache Flink12 小时前
Flink Agents 0.1.0 发布公告
大数据·flink
潘达斯奈基~13 小时前
在使用spark的applyInPandas方法过程中,遇到类型冲突问题如何解决
大数据·笔记