ECS单机部署Hadoop

ECS单机部署Hadoop

系统准备

  • 更新系统

    复制代码
    sudo yum update -y
    sudo yum install -y wget vim net-tools openssh-server
  • 关闭防火墙

    复制代码
    sudo systemctl stop firewalld    -- 关闭防火墙
    sudo systemctl disable firewalld -- 禁止自启动
    sudo systemctl status firewalld  -- 查看防火墙的状态

安装Java

  • 安装OpenJDK 8

    复制代码
    # 安装OpenJDK 8
    sudo yum install -y java-1.8.0-openjdk-devel
  • 查看版本

    复制代码
    # 验证安装
    java -version 
  • 查看Java 安装路径

    复制代码
    # 执行命令 
    readlink -f $(which java) 
    
    # 命令输出 
    /usr/lib/jvm/java-8-konajdk-8.0.20-1.oc9/bin/java
    
    # 安装路径
    /usr/lib/jvm/java-8-konajdk-8.0.20-1.oc9

Hadoop用户

  • 创建用户

    复制代码
    # 创建用户
    sudo useradd hadoop
    sudo passwd hadoop  # 设置密码(如:hadoop)
    
    # 赋予sudo权限
    sudo echo "hadoop ALL=(ALL) NOPASSWD: ALL" >> /etc/sudoers
    
    # 切换到hadoop用户
    su - hadoop
  • 免密登录

    复制代码
    # 生成密钥(一路回车)
    ssh-keygen -t rsa
    
    # 将公钥写入授权文件
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    
    # 测试免密登录
    ssh localhost  # 输入yes后应直接登录
    exit

下载安装Hadoop

  • 下载Hadoop

    复制代码
    # 下载Hadoop(以3.3.6为例)
    wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
  • 解压Hadoop

    复制代码
    # 解压并移动到指定目录
    tar -zxvf hadoop-3.3.6.tar.gz
    sudo mv hadoop-3.3.6 /opt/hadoop
    sudo chown -R hadoop:hadoop /opt/hadoop
  • 配置环境

    1. 编辑 ~/.bashrc 文件

      复制代码
      vim ~/.bashrc
      
      # 添加以下内容
      export JAVA_HOME=/usr/lib/jvm/java-8-konajdk-8.0.20-1.oc9  -- 这里地址参照 readlink -f $(which java) 命令输出地址
      export HADOOP_HOME=/opt/hadoop
      export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
      export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
    2. 生效配置

      复制代码
      source ~/.bashrc

修改Hadoop配置

  • hadoop-env.sh

    复制代码
    vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
    # 修改JAVA_HOME
    export JAVA_HOME=/usr/lib/jvm/java-8-konajdk-8.0.20-1.oc9  -- 这里地址参照 readlink -f $(which java) 命令输出地址
  • core-site.xml

    复制代码
    <configuration>
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
      </property>
      <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
      </property>
    </configuration>
  • hdfs-site.xml

    复制代码
    <configuration>
      <property>
        <name>dfs.replication</name>
        <value>1</value>
      </property>
      <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop/hdfs/namenode</value>
      </property>
      <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop/hdfs/datanode</value>
      </property>
    </configuration>
  • mapred-site.xml

    复制代码
    <configuration>
      <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
    </configuration>
  • yarn-site.xml

    复制代码
    <configuration>
      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
      <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
      </property>
    </configuration>

初始化HDFS

  • 创建目录

    目录参照上面配置创建

    复制代码
    # 创建目录
    mkdir -p /opt/hadoop/tmp
    mkdir -p /opt/hadoop/hdfs/{namenode,datanode}
  • 格式化NameNode

    复制代码
    # 格式化NameNode
    hdfs namenode -format

启动Hadoop

  • 启动HDFS

    复制代码
    start-dfs.sh
  • 启动Yarn

    复制代码
    start-yarn.sh
  • 查看Hadoop进程

    复制代码
    jps
    # 应看到以下进程:
    # NameNode
    # DataNode
    # ResourceManager
    # NodeManager
    # SecondaryNameNode

验证部署

  • 访问Web UI

  • 测试HDFS操作

    复制代码
    # HDFS 创建文件夹
    hdfs dfs -mkdir /test
    # HDFS 查看文件
    hdfs dfs -ls /test
    # hdfs 上传文件 
    hdfs dfs -put test.txt /test
    # hdfs 下载文件
    hdfs dfs -get /test/test.txt hdfs_test.txt
  • 运行MapReduce示例

    复制代码
    # 生成测试文件
     echo "Hello World Hello Hadoop" > input.txt
     
    # 创建input目录
    hdfs dfs -mkdir /input
    
    # 上传到测试目录
    hdfs dfs -put input.txt /input
    
    # 运行官方案例 
    hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /input /output
    
    # 查看输出结果
    hdfs dfs -cat /output/*
相关推荐
计算机毕设定制辅导-无忧学长3 小时前
TDengine 集群高可用方案设计(一)
大数据·时序数据库·tdengine
技术项目引流6 小时前
elasticsearch查询中的特殊字符影响分析
大数据·elasticsearch·搜索引擎
EasyDSS6 小时前
视频监控从安装到优化的技术指南,视频汇聚系统EasyCVR智能安防系统构建之道
大数据·网络·网络协议·音视频
IT成长日记6 小时前
【Hive入门】Hive查询语言(DQL)完全指南:从基础查询到高级分析
数据仓库·hive·hadoop·dql操作
lilye666 小时前
精益数据分析(20/126):解析经典数据分析框架,助力创业增长
大数据·人工智能·数据分析
苏小夕夕6 小时前
spark-streaming(二)
大数据·spark·kafka
珈和info7 小时前
珈和科技助力“农险提效200%”!“遥感+”技术创新融合省级示范项目荣登《湖北卫视》!
大数据·科技·无人机·智慧农业
盈达科技7 小时前
盈达科技:登顶GEO优化全球制高点,以AICC定义AI时代内容智能优化新标杆
大数据·人工智能
橘猫云计算机设计7 小时前
springboot基于hadoop的酷狗音乐爬虫大数据分析可视化系统(源码+lw+部署文档+讲解),源码可白嫖!
数据库·hadoop·spring boot·爬虫·python·数据分析·毕业设计