大数据环境搭建

目录

一:虚拟机:VirtualBox

二:Shell工具:MobaXterm

三:安装脚本

四:JDK和Hadoop

4.1:安装

4.2:启动

4.3:Hadoop可视化访问

4.4:关机


一:虚拟机:VirtualBox

VirtualBox-6.0.24-139119-Win

1.1:默认配置

1.2:导入3个node

1.3:启动三个node

(有的电脑可能启动失败可以看看:VirtualBox 不能为虚拟电脑打开一个新任务(Failed to get device handle and/or partition ID for 0000000001c5fb30 )-CSDN博客

二:Shell工具:MobaXterm

下载地址:
MobaXterm Xserver with SSH, telnet, RDP, VNC and X11 - Home Edition

shell工具连接三个虚拟机

三台机器地址分别是192.168.56.151、192.168.56.152​​​、192.168.56.153

账号root 密码123456

三:安装脚本

复制代码
git clone https://gitee.com/several-boats/playground.git
cd playground/
chmod +x playground.sh
./playground.sh install
source /etc/profile
cd ~

四:JDK和Hadoop

4.1:安装

复制代码
先把两个安装包(hadoop-3.3.6.tar.gz\jdk-8u191-linux-x64.tar.gz)用shell工具拖拽到/root下
复制代码
playground add jdk-8u191-linux-x64.tar.gz
playground add hadoop-3.3.6.tar.gz
playground init
复制代码
以上信息是否正确---y
是否安装JDK--yes
是否修改jdk信息--n
复制代码
source /etc/profile
java -version
playground config hadoop
复制代码
是否要更新-- y
安装包序列号---1(选Hadoop)
需要安装到哪些节点---node01,node02,node03
主节点---node01
复制代码
playground update config
playground install hadoop
source /etc/profile
复制代码
是否修改Hadoop安装信息--n
复制代码
source /etc/profile
hadoop namenode -format --force
cd ~

4.2:启动

复制代码
cd ~
start-all.sh

安装完后再对另两个机器进行source /etc/profile命令

4.3:Hadoop可视化访问

HDFS:

192.168.56.151:9870----Hadoop3

192.168.56.151:50070----Hadoop2

里面有一些值得看的信息Live Nodes表示存活的节点

Yarn:

192.168.56.151:8088

4.4:关机

复制代码
cd ~
stop-all.sh

点击virtualBox三个node,点击停止-正常关机

平常最好备份下

相关推荐
香山上的麻雀100820 小时前
Hive内部表(MANAGED_TABLE)的“批量删除分区”特性详解
数据仓库·hive·hadoop
牛奶咖啡132 天前
大数据Hadoop运维应用实践——双NameNode高可用Hadoop集群架构(上)
hadoop·高可用hadoop集群搭建·给服务器做免密信任·修改服务器主机名称·服务器本地配置主机名与ip映射·服务器配置jdk环境·服务器安装zooker
jjjava2.03 天前
SpringMVC入门指南:从零掌握核心要点
数据仓库·hive·hadoop
ljs6482739514 天前
Hadoop集群部署常见问题
大数据·hadoop·分布式
TTBIGDATA4 天前
【Ambari Plus】14.Hue 安装
大数据·hadoop·ambari·hdp·hue·cdh·bigtop
2501_942389555 天前
特斯拉的车辆摄像头每四天为AI训练集采集的数据量
人工智能·hadoop·zookeeper·oracle·时序数据库·memcache
牛奶咖啡135 天前
大数据Hadoop运维应用实践——Hadoop大数据平台基础与架构(hadoop伪分布式的安装部署)
大数据·hadoop·分布式·hadoop是什么?有啥用?·hadoop的适用与不适用场景·hadoop伪分布式的安装部署·hadoop分布式存储操作
TTBIGDATA6 天前
【Ambari Plus】15.Livy 安装
大数据·运维·hadoop·ambari·hdp·cdh·bigtop
李昊哲小课6 天前
Ubuntu26.04-Hadoop3.5.0搭建Hbase2.6.6集群
hadoop·hbase
我登哥MVP6 天前
Hadoop成长史-从Nutch子项目到大数据生态王者
java·大数据·hadoop·分布式·云原生·云计算