使用云虚拟机搭建hadoop集群环境

使用云虚拟机搭建hadoop集群环境

安装jdk17

配置docker网络

bash 复制代码
docker network create --subnet=172.18.0.0/16 hadoop  
  • 172.18.0.0:这是子网的网络地址,也就是这个网络的起始地址。
  • /16:这是子网掩码(Network Mask),表示前 16 位是网络部分,后 16 位是主机部分。

结合起来,172.18.0.0/16 表示:

  • 网络范围从 172.18.0.0172.18.255.255
  • 可以在这个范围内为容器分配 IP 地址

查看

bath 复制代码
 docker network ls
网桥bridge的作用
  • 隔离与连接: 一个 bridge 网络可以让容器在其内部相互通信,同时与宿主机分隔。
  • bridge 是一种虚拟的网络驱动,允许多个容器共享同一个虚拟网络,就像连接到一个虚拟的交换机(交换机常用的网络桥)一样。

拉取hadoop镜像

bath 复制代码
sudo docker pull kiwenlau/hadoop:1.0

拉取hadoop-cluster-docker

复制代码
git clone https://github.com/kiwenlau/hadoop-cluster-docker

之后:cd hadoop-cluster-docker

启动三节点容器:

bath 复制代码
./start-container.sh  # 默认启动1个master + 2个slave
复制代码
docker start hadoop-master hadoop-slave1 hadoop-slave2  # 同时启动三个容器

然后进入到hadoop-master节点里

复制代码
docker exec -it hadoop-master /bin/bash

之后执行

复制代码
./start-hadoop.sh  # 初始化并启动HDFS/YARN服务

然后执行

bath 复制代码
./run-wordcount.sh  # 运行WordCount测试任务

最后运行成功显示:

验证:进入Web管理界面

  • HDFS(NameNode)http://<云服务器公网IP>:50070
  • YARN(ResourceManager)http://<云服务器公网IP>:8088479
相关推荐
月夕·花晨32 分钟前
Gateway-过滤器
java·分布式·spring·spring cloud·微服务·gateway·sentinel
Elastic 中国社区官方博客3 小时前
AutoOps:简单的 Elasticsearch 集群监控与管理现已支持本地部署
大数据·人工智能·elasticsearch·搜索引擎·云计算·全文检索
云手机掌柜4 小时前
技术深度解析:指纹云手机如何通过设备指纹隔离技术重塑多账号安全管理
大数据·服务器·安全·智能手机·矩阵·云计算
计算机毕设残哥7 小时前
基于Hadoop+Spark的人体体能数据分析与可视化系统开源实现
大数据·hadoop·python·scrapy·数据分析·spark·dash
邂逅星河浪漫8 小时前
【RabbitMQ】docker-compose编排部署RabbitMQ容器——CentOS
分布式·docker·centos·rabbitmq·docker-compose
eve杭9 小时前
网络安全细则[特殊字符]
大数据·人工智能·5g·网络安全
Elastic 中国社区官方博客13 小时前
AutoOps:简化自管理 Elasticsearch 的旅程
大数据·人工智能·elasticsearch·搜索引擎·全文检索
chatexcel13 小时前
ChatExcel将发布数据分析Mini AI 工作站
大数据·人工智能·数据分析
IT研究室13 小时前
大数据毕业设计选题推荐-基于大数据的全球产品库存数据分析与可视化系统-大数据-Spark-Hadoop-Bigdata
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata
武子康16 小时前
大数据-115 - Flink DataStream Transformation Map、FlatMap、Filter 到 Window 的全面讲解
大数据·后端·flink