Docker安装及Docker构建简易版Hadoop生态

一、首先在VM创建一个新的虚拟机将Docker安装好

  1. 更新系统:首先打开终端,更新系统包列表。

    复制代码
    sudo apt-get update
    sudo apt-get upgrade

    下图是更新系统包截图

  2. 安装Docker:使用以下命令在Linux上安装Docker。

    复制代码
    sudo apt-get install -y docker.io 
  3. 启动Docker服务:使用以下命令启动Docker服务,我们通过ps命令可以看到docker服务的进程

    复制代码
    sudo systemctl start docker
  4. 使Docker开机自启:使用以下命令将Docker服务添加到系统服务中,使其在系统启动时自动启动。

    复制代码
    sudo systemctl enable docker
  5. 验证Docker是否安装成功:使用以下命令检查Docker是否成功安装。

    复制代码
    docker version
  6. 添加当前用户到Docker用户组:为了避免在执行Docker命令时使用sudo,可以将当前用户添加到Docker用户组中。

    复制代码
    sudo usermod -aG docker <username>

    其中"<username>"是您的用户名。

  7. 退出当前会话并重新登录:要使更改生效,退出当前会话并重新登录。

    bash 复制代码
    ​
    # 要退出当前 Docker 会话并重新登录,可以使用以下命令:
    
    exit
    
    # 然后再使用以下命令重新登录:
    
    docker login
    
    # 这将提示您输入 Docker Hub 用户名和密码,以便重新登录。
    
    ​

现在您已经成功在Linux上安装了Docker容器。您可以使用docker run命令来启动新容器

二、在Docker中安装Hive(非Docker Compose 方式)

  1. 确保已安装和启动Docker后,打开终端并输入以下命令以下载Hive镜像:

    docker pull sequenceiq/hadoop-docker:2.7.1

下图是下载 hadoop容器截图

  1. 等待hadoop镜像下载完成后,输入以下命令以启动Hive容器:
bash 复制代码
docker run -it sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash


## 以下是 释义
docker run -it sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash 命令的意思是,在当前系统上启动一个新的 Docker 容器,使用指定的镜像 sequenceiq/hadoop-docker:2.7.1,然后运行 /etc/bootstrap.sh 脚本来配置 Hadoop,最后打开一个交互式的 Bash shell。

让我们详细解释一下这个命令的各个部分:

docker run:这是 Docker 命令来启动一个新的容器。
-it:这是两个选项。-i 表示交互式会话,-t 表示为终端提供伪终端。这两个选项结合起来意味着提供一个可以交互的终端。
sequenceiq/hadoop-docker:2.7.1:这是要使用的 Docker 镜像的名称和版本号。在这个例子中,我们使用的是名为 sequenceiq/hadoop-docker 的镜像,版本为 2.7.1。
/etc/bootstrap.sh -bash:这是在容器启动时要运行的命令。在这个例子中,我们首先运行 /etc/bootstrap.sh 脚本来配置 Hadoop,然后运行 -bash 进入交互式的 Bash shell。

推出hadoop,以下方式启动hadoop

  1. 进入容器后,输入以下命令以安装Hive:

    yum install -y hive

  2. 安装完成后,您可以使用以下命令启动Hive:

    hive

  3. 接下来,您可以使用Hive进行数据分析和查询。

请注意,在这个过程中,您需要了解Docker的基本使用方法和Hadoop生态系统的基本知识。

相关推荐
分布式存储与RustFS6 小时前
旧 ledger 堆满 Bookie 磁盘:用 Pulsar 分层存储把冷数据卸进 RustFS
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
分布式存储与RustFS9 小时前
Dify 容器一重建知识库就空了:把上传文件和密钥一起存进 RustFS
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
如夏倾城1 天前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
Z21-X1 天前
云原生运维学习笔记:Kubernetes Volume 与 Secret 实验
运维·笔记·学习·云原生·kubernetes
分布式存储与RustFS1 天前
桶里的文件想当目录使:用 ZeroFS 把 RustFS 挂成一棵 POSIX 树
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
java资料站1 天前
MongoDB 3节点副本集( Docker )
mongodb·docker·eureka
分布式存储与RustFS1 天前
向量表别堆本地盘:用 LanceDB 把数据集建在 RustFS 上
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
mengge.cloud1 天前
Python基础保姆级!从入门到入土
开发语言·python·云原生·pygame
阿里云云原生2 天前
阿里云 AI 网关 x 联想百应:构建 Token Plan 平台&词元宝 Token Key 产品,让模型服务走向规模化运营
云原生
阿里云云原生2 天前
基于阿里云 AgentLoop 构建 Agent 进化数据飞轮闭环,让线上 Trace 沉淀为可复用经验
云原生