使用云虚拟机搭建hadoop集群环境

使用云虚拟机搭建hadoop集群环境

安装jdk17

配置docker网络

bash 复制代码
docker network create --subnet=172.18.0.0/16 hadoop  
  • 172.18.0.0:这是子网的网络地址,也就是这个网络的起始地址。
  • /16:这是子网掩码(Network Mask),表示前 16 位是网络部分,后 16 位是主机部分。

结合起来,172.18.0.0/16 表示:

  • 网络范围从 172.18.0.0 到 172.18.255.255
  • 可以在这个范围内为容器分配 IP 地址

查看

bath 复制代码
 docker network ls
网桥bridge的作用
  • 隔离与连接: 一个 bridge 网络可以让容器在其内部相互通信,同时与宿主机分隔。
  • bridge 是一种虚拟的网络驱动,允许多个容器共享同一个虚拟网络,就像连接到一个虚拟的交换机(交换机常用的网络桥)一样。

拉取hadoop镜像

bath 复制代码
sudo docker pull kiwenlau/hadoop:1.0

拉取hadoop-cluster-docker

复制代码
git clone https://github.com/kiwenlau/hadoop-cluster-docker

之后:cd hadoop-cluster-docker

启动三节点容器:

bath 复制代码
./start-container.sh  # 默认启动1个master + 2个slave
复制代码
docker start hadoop-master hadoop-slave1 hadoop-slave2  # 同时启动三个容器

然后进入到hadoop-master节点里

复制代码
docker exec -it hadoop-master /bin/bash

之后执行

复制代码
./start-hadoop.sh  # 初始化并启动HDFS/YARN服务

然后执行

bath 复制代码
./run-wordcount.sh  # 运行WordCount测试任务

最后运行成功显示:

验证:进入Web管理界面

  • HDFS(NameNode) :http://<云服务器公网IP>:50070
  • YARN(ResourceManager) :http://<云服务器公网IP>:8088479
相关推荐
wuyk5559 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
数字新视界13 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
TDengine (老段)14 小时前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
国科安芯15 小时前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
字节跳动数据平台17 小时前
火山引擎 VeKnow 落地指南(上):从选场景到知识治理
大数据
安心联-车辆监控管理系统19 小时前
以事实为基础,详解车辆主动安全相关功能
大数据·人工智能·安全
大大大大晴天1 天前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云1 天前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
演艺大赏1 天前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
Aloudata2 天前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售