使用云虚拟机搭建hadoop集群环境

使用云虚拟机搭建hadoop集群环境

安装jdk17

配置docker网络

bash 复制代码
docker network create --subnet=172.18.0.0/16 hadoop  
  • 172.18.0.0:这是子网的网络地址,也就是这个网络的起始地址。
  • /16:这是子网掩码(Network Mask),表示前 16 位是网络部分,后 16 位是主机部分。

结合起来,172.18.0.0/16 表示:

  • 网络范围从 172.18.0.0172.18.255.255
  • 可以在这个范围内为容器分配 IP 地址

查看

bath 复制代码
 docker network ls
网桥bridge的作用
  • 隔离与连接: 一个 bridge 网络可以让容器在其内部相互通信,同时与宿主机分隔。
  • bridge 是一种虚拟的网络驱动,允许多个容器共享同一个虚拟网络,就像连接到一个虚拟的交换机(交换机常用的网络桥)一样。

拉取hadoop镜像

bath 复制代码
sudo docker pull kiwenlau/hadoop:1.0

拉取hadoop-cluster-docker

复制代码
git clone https://github.com/kiwenlau/hadoop-cluster-docker

之后:cd hadoop-cluster-docker

启动三节点容器:

bath 复制代码
./start-container.sh  # 默认启动1个master + 2个slave
复制代码
docker start hadoop-master hadoop-slave1 hadoop-slave2  # 同时启动三个容器

然后进入到hadoop-master节点里

复制代码
docker exec -it hadoop-master /bin/bash

之后执行

复制代码
./start-hadoop.sh  # 初始化并启动HDFS/YARN服务

然后执行

bath 复制代码
./run-wordcount.sh  # 运行WordCount测试任务

最后运行成功显示:

验证:进入Web管理界面

  • HDFS(NameNode)http://<云服务器公网IP>:50070
  • YARN(ResourceManager)http://<云服务器公网IP>:8088479
相关推荐
yumgpkpm2 小时前
CMP(类ClouderaCDP7.3(404次编译) )完全支持华为鲲鹏Aarch64(ARM),粉丝数超过200就开源下载
hive·hadoop·redis·mongodb·elasticsearch·hbase·big data
0和1的舞者3 小时前
《Git:从入门到精通(八)——企业级git开发相关内容》
大数据·开发语言·git·搜索引擎·全文检索·软件工程·初学者
运维行者_4 小时前
AWS云服务故障复盘——从故障中汲取的 IT 运维经验
大数据·linux·运维·服务器·人工智能·云计算·aws
TDengine (老段)4 小时前
TDengine 配置参数作用范围对比
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
幼儿园老大*5 小时前
什么是分布式数据库?有什么优势?
数据库·分布式
武子康6 小时前
大数据-135 ClickHouse 集群连通性自检 + 数据类型避坑实战|10 分钟跑通 ON CLUSTER
大数据·分布式·后端
Olrookie6 小时前
StreamX部署详细步骤
大数据·笔记·flink
CRMEB系统商城7 小时前
【新版发布】标准版PHP v5.6.4正式版,优化部分用户体验
java·大数据·小程序·php·ux
m0_748255417 小时前
深度掌握 Git 分支体系:从基础操作到高级策略与实践案例
大数据·git·elasticsearch