搭建spark伪分布集群

1.先查看虚拟机的默认名称,将其修改为vm01

2.更改了主机名,还需要修改/etc/hosts文件,在这个文件设定了IP地址与主机名的对应关系,类似DNS域名服务器的功能

3.修改spark相关配置文件,包括spark-env.sh和slave两个文件

4.将localhost改为vm01 保存退出

5.重启spark集群 出现worker和master表示成功

6.测试

7.在浏览器输入:http://vm01:8080/ 查看

相关推荐
理智的煎蛋35 分钟前
CentOS/Ubuntu安装显卡驱动与GPU压力测试
大数据·人工智能·ubuntu·centos·gpu算力
赵孝正1 小时前
GitLab 分支管理与 Push 问题全解析
大数据·elasticsearch·gitlab
嘉禾望岗5031 小时前
Yarn介绍与HA搭建
大数据·hadoop·yarn
Sweety丶╮7941 小时前
【Ansible】实施 Ansible Playbook知识点
服务器·云原生·ansible
小麦矩阵系统永久免费2 小时前
小麦矩阵系统:让短视频分发实现抖音快手小红书全覆盖
大数据·人工智能·矩阵
IT研究室2 小时前
大数据毕业设计选题推荐-基于大数据的国家药品采集药品数据可视化分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·信息可视化·spark·毕业设计·数据可视化·bigdata
optiz2 小时前
细菌基因组genome二代测序数据分析
linux·运维·服务器
m0_661316233 小时前
modbus_tcp和modbus_rtu对比&移植AT-socket,modbus_tcp&杂记
服务器·网络·tcp/ip
Lx3523 小时前
Hadoop性能瓶颈分析:从JVM到磁盘IO的全链路优化
大数据·hadoop
大数据点灯人3 小时前
【Flink】Flink Runtime 开发指南
大数据·flink