分布式系统框架hadoop3入门

分布式系统框架hadoop3入门 (qq.com)

Hadoop3作为分布式系统架构的重要基石,为大规模数据存储与处理提供了强大支持

基本信息

hadoop:一个存储和处理大数据的分布式系统框架

组成: HDFS(数据存储)、MapReduce(计算)、Yarn(资源调度)、Common(辅助工具)

HDFS:Hadoop Distributed File System,一个分布式文件系统;组成有NameNode(存储文件的元数据,类似目录索引),DataNode(存储文件块数据),Secondary NameNode(NameNode元数据备份)

YARN:Yet Another Resource Negotiator,另一种资源协调者,Hadoop 的资源管理器,组成有ResourceManager(管理集群资源)、NodeManager(管理单个节点资源)、ApplicationMaster(管理单个任务)、Container(封装任务需要的资源)

MapReduce:将计算过程分为两个阶段Map 和 Reduce,Map 阶段并行处理输入数据,Reduce 阶段对 Map 结果进行汇总

配置环境

三台虚机:安装vmvare,创建模板虚拟机h1,centos7.5,配置完虚机模板后,克隆三个虚机h2-h4,分别修改对应的ip地址和主机名

配置ip地址:vm设置VMnet8的子网ip和网关、内部虚机修改主机名和hosts文件,静态地址、window配置Adapter VMnet8 默认网关,DNS服务器

安装远程终端工具:Xshell,Xftp传输工具

模板虚机配置:

安装epel-release(需更换为阿里源)

关闭防火墙及开机自启、配置常用用户有root权限

/opt目录下创建文件夹module和software,一个安装软件,一个放软件包

卸载虚拟机自带的JDK

在h2安装JDK和hadoop

用XShell传输工具将安装包,导入到opt目录下面的software文件夹下面

解压安装包到/opt/module目录下

配置环境变量

测试是否安装成功

将在h2安装的JDK和hadoop分发到h3,h4

两个命令:scp(secure copy)安全拷贝、rsync远程同步工具,前者可以在虚机之间复制文件,后者增量复制,效率更高

xsync集群分发脚本:基于上述两个命令编写xsync编写集群分发脚本,声明了全局环境变量的路径的bin目录下

SSH无密登录配置:生成公钥和私钥,将公钥拷贝到要免密登录的目标机器上,每台机器都要生成,并拷贝到其他机器上

配置集群并启动

集群规划:h2放NameNode,h3放ResourceManager,h4放SecondaryNameNode

配置-修改配置文件

核心配置文件core-site.xml:指定NameNode的地址、指定hadoop数据的存储目录

HDFS配置文件hdfs-site.xml:指定NameNode(nn)的地址 web端访问地址、SecondaryNameNode(2nn) web端访问地址

YARN配置文件yarn-site.xml:指定MR走shuffle、指定ResourceManager的地址、环境变量的继承

MapReduce配置文件mapred-site.xml:指定MapReduce程序运行在Yarn上

在集群上分发配置好的Hadoop配置文件:xsync

启动

配置workers并同步

集群是第一次启动:在h2节点格式化NameNode

h2机器上启动HDFS:start-dfs.sh

h3机器上启动YARN:start-yarn.sh

Web端查看HDFS的NameNode、YARN的ResourceManager

测试上传文件和执行wordcount程序

配置历史服务器和日志聚集

配置历史服务器

配置mapred-site.xml:配置历史服务器端地址、历史服务器web端地址

分发配置并启动,web查看

配置日志聚集

配置yarn-site.xml:开启日志聚集功能、设置日志聚集服务器地址、设置日志保留时间为7天

分发配置,关闭NodeManager 、ResourceManager和HistoryServer

启动NodeManager 、ResourceManage和HistoryServer

删除HDFS上已经存在的输出文件

执行WordCount程序

查看日志

参考资料

大海哥,hadoop3.x

hadoop+spark生态系统操作与实战指南

相关推荐
我的K840911 小时前
解决Hive乱码问题
数据仓库·hive·hadoop
盼兮*12 小时前
Centos7环境下Hive的安装
大数据·数据仓库·hive·hadoop
阳爱铭1 天前
指标服务平台:全面解析
java·服务器·网络·hadoop·sql·hbase·数据库架构
Data 3171 天前
Hadoop生态圈拓展内容(二)
大数据·数据仓库·hive·hadoop
Wuxiaoming1352 天前
flutter hive的使用
数据仓库·hive·hadoop
Casual_Lei2 天前
Delta Lake
java·hadoop
lwprain2 天前
龙蜥8.9系统hadoop3.3.6上spark3.5.2安装(伪分布)
hadoop·spark
lwprain2 天前
hadoop3跑第一个例子wordcount
hadoop·wordcount
计算机毕设残哥2 天前
利用Hadoop Spark大数据技术构建国潮男装评论数据分析系统
大数据·hadoop·spark·计算机毕设·计算机毕业设计
Casual_Lei3 天前
Hadoop
大数据·hadoop·分布式