分布式系统框架hadoop3入门

分布式系统框架hadoop3入门 (qq.com)

Hadoop3作为分布式系统架构的重要基石,为大规模数据存储与处理提供了强大支持

基本信息

hadoop:一个存储和处理大数据的分布式系统框架

组成: HDFS(数据存储)、MapReduce(计算)、Yarn(资源调度)、Common(辅助工具)

HDFS:Hadoop Distributed File System,一个分布式文件系统;组成有NameNode(存储文件的元数据,类似目录索引),DataNode(存储文件块数据),Secondary NameNode(NameNode元数据备份)

YARN:Yet Another Resource Negotiator,另一种资源协调者,Hadoop 的资源管理器,组成有ResourceManager(管理集群资源)、NodeManager(管理单个节点资源)、ApplicationMaster(管理单个任务)、Container(封装任务需要的资源)

MapReduce:将计算过程分为两个阶段Map 和 Reduce,Map 阶段并行处理输入数据,Reduce 阶段对 Map 结果进行汇总

配置环境

三台虚机:安装vmvare,创建模板虚拟机h1,centos7.5,配置完虚机模板后,克隆三个虚机h2-h4,分别修改对应的ip地址和主机名

配置ip地址:vm设置VMnet8的子网ip和网关、内部虚机修改主机名和hosts文件,静态地址、window配置Adapter VMnet8 默认网关,DNS服务器

安装远程终端工具:Xshell,Xftp传输工具

模板虚机配置:

安装epel-release(需更换为阿里源)

关闭防火墙及开机自启、配置常用用户有root权限

/opt目录下创建文件夹module和software,一个安装软件,一个放软件包

卸载虚拟机自带的JDK

在h2安装JDK和hadoop

用XShell传输工具将安装包,导入到opt目录下面的software文件夹下面

解压安装包到/opt/module目录下

配置环境变量

测试是否安装成功

将在h2安装的JDK和hadoop分发到h3,h4

两个命令:scp(secure copy)安全拷贝、rsync远程同步工具,前者可以在虚机之间复制文件,后者增量复制,效率更高

xsync集群分发脚本:基于上述两个命令编写xsync编写集群分发脚本,声明了全局环境变量的路径的bin目录下

SSH无密登录配置:生成公钥和私钥,将公钥拷贝到要免密登录的目标机器上,每台机器都要生成,并拷贝到其他机器上

配置集群并启动

集群规划:h2放NameNode,h3放ResourceManager,h4放SecondaryNameNode

配置-修改配置文件

核心配置文件core-site.xml:指定NameNode的地址、指定hadoop数据的存储目录

HDFS配置文件hdfs-site.xml:指定NameNode(nn)的地址 web端访问地址、SecondaryNameNode(2nn) web端访问地址

YARN配置文件yarn-site.xml:指定MR走shuffle、指定ResourceManager的地址、环境变量的继承

MapReduce配置文件mapred-site.xml:指定MapReduce程序运行在Yarn上

在集群上分发配置好的Hadoop配置文件:xsync

启动

配置workers并同步

集群是第一次启动:在h2节点格式化NameNode

h2机器上启动HDFS:start-dfs.sh

h3机器上启动YARN:start-yarn.sh

Web端查看HDFS的NameNode、YARN的ResourceManager

测试上传文件和执行wordcount程序

配置历史服务器和日志聚集

配置历史服务器

配置mapred-site.xml:配置历史服务器端地址、历史服务器web端地址

分发配置并启动,web查看

配置日志聚集

配置yarn-site.xml:开启日志聚集功能、设置日志聚集服务器地址、设置日志保留时间为7天

分发配置,关闭NodeManager 、ResourceManager和HistoryServer

启动NodeManager 、ResourceManage和HistoryServer

删除HDFS上已经存在的输出文件

执行WordCount程序

查看日志

参考资料

大海哥,hadoop3.x

hadoop+spark生态系统操作与实战指南

相关推荐
2401_8906658610 小时前
免费送源码:Java+ssm+MySQL 基于PHP在线考试系统的设计与实现 计算机毕业设计原创定制
java·hadoop·spring boot·python·mysql·spring cloud·php
麻芝汤圆12 小时前
Hadoop:大数据时代的基石
大数据·linux·hadoop·分布式·安全·web安全·centos
杜清卿12 小时前
如何配置环境变量HADOOP_HOMEM、AVEN_HOME?不配置会怎么样
大数据·hadoop·eclipse
睎zyl12 小时前
如何配置HADOOP_HOME环境变量
大数据·hadoop·eclipse
IT成长日记17 小时前
【HDFS入门】HDFS核心组件JournalNode运行机制剖析:高可用架构的基石
hadoop·hdfs·架构·journalnode
BenBen尔1 天前
spark的堆外内存,是在jvm内还是操作系统内存内?
大数据·jvm·hadoop·spark
mysql学习中1 天前
hive数仓要点总结
数据仓库·hive·hadoop
IT成长日记1 天前
Hadoop文件操作指南:深入解析文件操作
大数据·hadoop·分布式
Yvonne9781 天前
Apache Hive学习教程
hive·hadoop
IT成长日记2 天前
【Hadoop入门】Hadoop生态之Sqoop简介
大数据·hadoop·sqoop