使用云虚拟机搭建hadoop集群环境

使用云虚拟机搭建hadoop集群环境

安装jdk17

配置docker网络

bash 复制代码
docker network create --subnet=172.18.0.0/16 hadoop  
  • 172.18.0.0:这是子网的网络地址,也就是这个网络的起始地址。
  • /16:这是子网掩码(Network Mask),表示前 16 位是网络部分,后 16 位是主机部分。

结合起来,172.18.0.0/16 表示:

  • 网络范围从 172.18.0.0172.18.255.255
  • 可以在这个范围内为容器分配 IP 地址

查看

bath 复制代码
 docker network ls
网桥bridge的作用
  • 隔离与连接: 一个 bridge 网络可以让容器在其内部相互通信,同时与宿主机分隔。
  • bridge 是一种虚拟的网络驱动,允许多个容器共享同一个虚拟网络,就像连接到一个虚拟的交换机(交换机常用的网络桥)一样。

拉取hadoop镜像

bath 复制代码
sudo docker pull kiwenlau/hadoop:1.0

拉取hadoop-cluster-docker

复制代码
git clone https://github.com/kiwenlau/hadoop-cluster-docker

之后:cd hadoop-cluster-docker

启动三节点容器:

bath 复制代码
./start-container.sh  # 默认启动1个master + 2个slave
复制代码
docker start hadoop-master hadoop-slave1 hadoop-slave2  # 同时启动三个容器

然后进入到hadoop-master节点里

复制代码
docker exec -it hadoop-master /bin/bash

之后执行

复制代码
./start-hadoop.sh  # 初始化并启动HDFS/YARN服务

然后执行

bath 复制代码
./run-wordcount.sh  # 运行WordCount测试任务

最后运行成功显示:

验证:进入Web管理界面

  • HDFS(NameNode)http://<云服务器公网IP>:50070
  • YARN(ResourceManager)http://<云服务器公网IP>:8088479
相关推荐
星域智链9 分钟前
车载 GPS 与手机导航的终极对决:谁在复杂路况下更胜一筹?
大数据·科技·ai
柯南二号12 分钟前
【Java后端】【可直接落地的 Redis 分布式锁实现】
java·redis·分布式
MaxCode-11 小时前
单智能体篇:Prompt工程艺术
大数据·人工智能·prompt
源图客4 小时前
Apache Ozone 2.0.0集群部署
hadoop·ozone
计算机毕设残哥4 小时前
大数据毕业设计推荐:基于Hadoop+Spark的手机信息分析系统完整方案
大数据·hadoop·课程设计
Hello.Reader5 小时前
Elasticsearch Rails 集成(elasticsearch-model / ActiveRecord)
大数据·elasticsearch·jenkins
代码的余温7 小时前
Elasticsearch核心概念
大数据·elasticsearch·搜索引擎
Rookie小强7 小时前
kafka的rebalance机制是什么
分布式·kafka
TDengine (老段)7 小时前
TDengine IDMP 应用场景:微电网监控
大数据·数据库·物联网·ai·时序数据库·tdengine·涛思数据
8K超高清7 小时前
广播级讯道摄像机CCU后挂上的PGM、ENG、PROD音频旋钮是做什么用的?
大数据·人工智能·科技·数码相机·音视频·智能硬件