使用云虚拟机搭建hadoop集群环境

使用云虚拟机搭建hadoop集群环境

安装jdk17

配置docker网络

bash 复制代码
docker network create --subnet=172.18.0.0/16 hadoop  
  • 172.18.0.0:这是子网的网络地址,也就是这个网络的起始地址。
  • /16:这是子网掩码(Network Mask),表示前 16 位是网络部分,后 16 位是主机部分。

结合起来,172.18.0.0/16 表示:

  • 网络范围从 172.18.0.0172.18.255.255
  • 可以在这个范围内为容器分配 IP 地址

查看

bath 复制代码
 docker network ls
网桥bridge的作用
  • 隔离与连接: 一个 bridge 网络可以让容器在其内部相互通信,同时与宿主机分隔。
  • bridge 是一种虚拟的网络驱动,允许多个容器共享同一个虚拟网络,就像连接到一个虚拟的交换机(交换机常用的网络桥)一样。

拉取hadoop镜像

bath 复制代码
sudo docker pull kiwenlau/hadoop:1.0

拉取hadoop-cluster-docker

复制代码
git clone https://github.com/kiwenlau/hadoop-cluster-docker

之后:cd hadoop-cluster-docker

启动三节点容器:

bath 复制代码
./start-container.sh  # 默认启动1个master + 2个slave
复制代码
docker start hadoop-master hadoop-slave1 hadoop-slave2  # 同时启动三个容器

然后进入到hadoop-master节点里

复制代码
docker exec -it hadoop-master /bin/bash

之后执行

复制代码
./start-hadoop.sh  # 初始化并启动HDFS/YARN服务

然后执行

bath 复制代码
./run-wordcount.sh  # 运行WordCount测试任务

最后运行成功显示:

验证:进入Web管理界面

  • HDFS(NameNode)http://<云服务器公网IP>:50070
  • YARN(ResourceManager)http://<云服务器公网IP>:8088479
相关推荐
TDengine (老段)3 小时前
TDengine 中 TDgp 中添加机器学习模型
大数据·数据库·算法·机器学习·数据分析·时序数据库·tdengine
希艾席帝恩4 小时前
拥抱智慧物流时代:数字孪生技术的应用与前景
大数据·人工智能·低代码·数字化转型·业务系统
Bar_artist4 小时前
离线智能破局,架构创新突围:RockAI与中国AI的“另一条车道”
大数据·人工智能
牛客企业服务6 小时前
2025校招AI应用:校园招聘的革新与挑战
大数据·人工智能·机器学习·面试·职场和发展·求职招聘·语音识别
非极限码农6 小时前
Hive SQL (HQL) 编辑指南
hive·hadoop·sql
电商数据girl7 小时前
如何利用API接口与网页爬虫协同进行电商平台商品数据采集?
大数据·开发语言·人工智能·python·django·json
TDengine (老段)7 小时前
TDengine 中 TDgpt 异常检测的数据密度算法
java·大数据·算法·时序数据库·iot·tdengine·涛思数据
蚂蚁数据AntData7 小时前
DB-GPT 0.7.3 版本更新:支持Qwen3 Embedding和Reranker模型、支持知识库自定义检索策略等
大数据·开源·全文检索·数据库架构
暖苏8 小时前
python-异常(笔记)
大数据·开发语言·笔记·python·异常
非极限码农8 小时前
Hive数仓部署/分层/ETL脚本基础指南
数据仓库·hive·hadoop·etl