Hadoop环境安装和集群创建

本文提供基于VMware安装CentOS 7及配置Hadoop伪分布式/集群的简要步骤。

一、环境准备

下载VMware并安装,CentOS 7标准版ISO可从官网获取。

主机网络配置:编辑Windows hosts文件,映射主机名与IP(如192.168.1.76 master)。

关闭防火墙:systemctl stop firewalld并禁用自启,使用Xshell连接主机(支持rz/sz传文件)。

二、JDK安装

解压JDK至指定目录,配置/etc/profile环境变量(JAVA_HOME、CLASSPATH、PATH)。若32位版本报错,建议重装64位JDK或执行yum install glibc.i686。

三、Hadoop配置

环境变量:在/etc/profile中设置HADOOP_HOME并生效。

核心文件:

hadoop-env.sh:指定JAVA_HOME路径。

core-site.xml:设置fs.defaultFS为hdfs://master:9000,hadoop.tmp.dir为数据目录。

hdfs-site.xml:设置dfs.replication(伪分布式设为1)。

yarn-site.xml:配置ResourceManager地址及辅助服务。

mapred-site.xml:指定mapreduce.framework.name为yarn。

主机映射:修改/etc/hosts,配置master/slave IP。

SSH免密:生成密钥对,将公钥复制到各节点authorized_keys。

从节点:修改slaves文件(伪分布式写localhost,集群写slave主机名),并同步到从节点。

四、启动与验证

格式化HDFS:hadoop namenode -format。

启动服务:执行start-all.sh(或分别启动HDFS和YARN)。

验证:jps查看进程(Master应有NameNode、SecondaryNameNode、ResourceManager;Slave有DataNode、NodeManager)。

Web访问:http://master:50070(HDFS)和http://master:18088(YARN)确认正常。

相关推荐
方方洛7 小时前
ray教程-00-前言与导读
人工智能·分布式·机器学习
方方洛7 小时前
ray教程-01-认识Ray
人工智能·分布式·机器学习
乐橙开放平台7 小时前
智慧连锁客流检测和离岗检测怎么对接
大数据·人工智能·笔记·物联网·自动化·音视频·智能家居
OCR_133716212757 小时前
智能交通底层逻辑:国内车牌分类规范与AI识别适配技术解析
大数据·人工智能·分类
物联网软硬件开发-轨物科技8 小时前
【轨物洞见】什么是产品碳足迹(PCF)?ISO 14067 计算方法与应用场景深度解读
大数据·网络·人工智能
GlobalInfo9 小时前
2026年全球无人机清洗系统市场深度分析:规模、竞争格局与AI自主作业演进趋势
大数据·人工智能·ai·无人机
AI职业加油站9 小时前
AI 校招现状:大模型应用工程师证书,助力简历能力证明
大数据·运维·人工智能·学习·职场发展
cc5725026539 小时前
2027 秋招求职分析:大数据相关专业,企业服务售前与实施岗位对比
大数据
专注API从业者9 小时前
告别复杂页面解析,OpenClaw 快速搭建电商商品监控与数据分析脚本
大数据·数据库·python·数据挖掘·数据分析
楚楚2519 小时前
2026企业AI办公工具选型指南:从需求匹配到平台评估
大数据·人工智能