Hadoop环境安装和集群创建

本文提供基于VMware安装CentOS 7及配置Hadoop伪分布式/集群的简要步骤。

一、环境准备

下载VMware并安装,CentOS 7标准版ISO可从官网获取。

主机网络配置:编辑Windows hosts文件,映射主机名与IP(如192.168.1.76 master)。

关闭防火墙:systemctl stop firewalld并禁用自启,使用Xshell连接主机(支持rz/sz传文件)。

二、JDK安装

解压JDK至指定目录,配置/etc/profile环境变量(JAVA_HOME、CLASSPATH、PATH)。若32位版本报错,建议重装64位JDK或执行yum install glibc.i686。

三、Hadoop配置

环境变量:在/etc/profile中设置HADOOP_HOME并生效。

核心文件:

hadoop-env.sh:指定JAVA_HOME路径。

core-site.xml:设置fs.defaultFS为hdfs://master:9000,hadoop.tmp.dir为数据目录。

hdfs-site.xml:设置dfs.replication(伪分布式设为1)。

yarn-site.xml:配置ResourceManager地址及辅助服务。

mapred-site.xml:指定mapreduce.framework.name为yarn。

主机映射:修改/etc/hosts,配置master/slave IP。

SSH免密:生成密钥对,将公钥复制到各节点authorized_keys。

从节点:修改slaves文件(伪分布式写localhost,集群写slave主机名),并同步到从节点。

四、启动与验证

格式化HDFS:hadoop namenode -format。

启动服务:执行start-all.sh(或分别启动HDFS和YARN)。

验证:jps查看进程(Master应有NameNode、SecondaryNameNode、ResourceManager;Slave有DataNode、NodeManager)。

Web访问:http://master:50070(HDFS)和http://master:18088(YARN)确认正常。

相关推荐
苏州邦恩精密2 小时前
蔡司3D扫描仪厂家如何应用于航空航天制造
大数据·数据库·人工智能·3d·自动化·制造
学术小白人2 小时前
国内外学术体系与论文等级区分—— 从 SCI / SSCI / EI 到北大核心 / CSSCI / CSCD 全面解析
大数据·人工智能·神经网络·数据分析·论文
橙臣程2 小时前
集群、分布式与微服务介绍
分布式·微服务·架构
饼饼学习空间智能2 小时前
机器人闭环系统怎么构建?从选型、训练、部署到运营的工程解析
大数据·机器人
Gem_S_6083 小时前
组织协同效率工具实践:如何通过任务流转与信息连接提升团队执行效率
大数据
iuu_star3 小时前
Python大模型智能学习平台——设计与实现(AI教学系统)
大数据·人工智能·python·学习
Elastic 中国社区官方博客3 小时前
从多模态 LLM 中引导构建音频嵌入
大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索·音视频
Dovis(誓平步青云)3 小时前
《 AI直连数据库落地实践:基于MCP协议打通开发工具与数据库全链路运维分析》
大数据·linux·运维·数据库·人工智能·架构
互联网科技看点3 小时前
2026年短信服务性价比分析:飞鸽云与头部云厂商
大数据·网络