docker-compose一键部署Hadoop集群

1、hadoop简介

Hadoop 是一个由Apache软件基金会开发的开源、可靠的分布式计算框架。它的核心设计目标是能够以一种简单、可扩展的方式，处理从GB到PB级别的海量数据集，并能够在上千台普通的商用硬件上运行，提供高容错性。
2、Hadoop的优势

1.高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。

2.高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。

3.高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。

4.高容错性：能够自动将失败的任务重新分配。

3、安装docker

1、安装依赖包

bash 复制代码

yum install -y yum-utils device-mapper-persistent-data lvm2

2、配置docker yum源

bash 复制代码

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

3、安装docker

bash 复制代码

yum install -y docker-ce

4、修改docker配置文件

bash 复制代码

mkdir /data/docker -p
sudo tee /etc/docker/daemon.json <<-'EOF'
{
   "data-root": "/data/docker"
}
EOF

5、启动docker

bash 复制代码

systemctl daemon-reload
systemctl enable docker --now
systemctl restart docker

6、安装docker-compose

#下载docker-compose文件

bash 复制代码

curl -L "https://github.com/docker/compose/releases/download/v2.29.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
#给他一个执行权限
chmod +x /usr/local/bin/docker-compose
ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

#查看是否安装成功
docker-compose --version

4、hadoop安装（非高可用）

4.1、hadoop安装

bash 复制代码

yum -y install git
git clone https://gitee.com/hadoop-bigdata/docker-compose-hadoop.git
cd docker-compose-hadoop/hadoop
docker-compose -f docker-compose.yaml up -d

查看部署状态

bash 复制代码

docker-compose -f docker-compose.yaml ps

4.2、访问hadoop

bash 复制代码

HDFS：http://172.16.17.115:30070

bash 复制代码

YARN：http://172.16.17.115:30888

5、Hadoop HA部署(高可用)

5.1、hadoop集群安装

bash 复制代码

git clone https://gitee.com/hadoop-bigdata/docker-compose-hadoop.git
cd docker-compose-hadoop/hadoop-ha
docker-compose -f docker-compose.yaml up -d

查看部署状态

bash 复制代码

docker-compose -f docker-compose.yaml ps

5.2、访问hadoop

HDFS地址：

http://172.16.17.115:30070

http://172.16.17.115:30071

YARN：http://172.16.17.115:30888

6、简介

Hadoop是开启大数据时代的关键技术，它通过HDFS、MapReduce和YARN三大核心，奠定了分布式处理海量数据的基础架构。