Hadoop环境安装和集群创建

本文提供基于VMware安装CentOS 7及配置Hadoop伪分布式/集群的简要步骤。

一、环境准备

下载VMware并安装,CentOS 7标准版ISO可从官网获取。

主机网络配置:编辑Windows hosts文件,映射主机名与IP(如192.168.1.76 master)。

关闭防火墙:systemctl stop firewalld并禁用自启,使用Xshell连接主机(支持rz/sz传文件)。

二、JDK安装

解压JDK至指定目录,配置/etc/profile环境变量(JAVA_HOME、CLASSPATH、PATH)。若32位版本报错,建议重装64位JDK或执行yum install glibc.i686。

三、Hadoop配置

环境变量:在/etc/profile中设置HADOOP_HOME并生效。

核心文件:

hadoop-env.sh:指定JAVA_HOME路径。

core-site.xml:设置fs.defaultFS为hdfs://master:9000,hadoop.tmp.dir为数据目录。

hdfs-site.xml:设置dfs.replication(伪分布式设为1)。

yarn-site.xml:配置ResourceManager地址及辅助服务。

mapred-site.xml:指定mapreduce.framework.name为yarn。

主机映射:修改/etc/hosts,配置master/slave IP。

SSH免密:生成密钥对,将公钥复制到各节点authorized_keys。

从节点:修改slaves文件(伪分布式写localhost,集群写slave主机名),并同步到从节点。

四、启动与验证

格式化HDFS:hadoop namenode -format。

启动服务:执行start-all.sh(或分别启动HDFS和YARN)。

验证:jps查看进程(Master应有NameNode、SecondaryNameNode、ResourceManager;Slave有DataNode、NodeManager)。

Web访问:http://master:50070(HDFS)和http://master:18088(YARN)确认正常。

相关推荐
RFID固定资产管理系统16 分钟前
适配媒体行业的固定资产管理软件有哪些功能与核心优势
大数据·人工智能·python·媒体
lupai2 小时前
手机归属地查询 API 新手接入指南
大数据·智能手机·api接口
数据皮皮侠AI3 小时前
上市公司数字供应链金融指数(2010-2024)
大数据·人工智能·算法
ACP广源盛139246256733 小时前
DeepSeek‑V4‑Flash 公测@ACP#昇腾 950 国产算力组合落地,国产 PCIe 交换芯片 IX9104 有哪些硬件机会
大数据·数据库·人工智能·分布式·单片机·嵌入式硬件·microsoft
2601_949499944 小时前
芯瑞科技400G VR4 QSFP-DD光模块:低功耗高密短距互联方案,赋能AI智算中心算力网络升级
大数据·运维·网络·人工智能·科技·光模块
玉鸯4 小时前
多 Agent 并行时如何保证状态一致性?
分布式·python·agent
Raas1005 小时前
MAIGateway,魔芋企业级AI网关的FinAPI成本归因设计
大数据·人工智能·网关·api网关·finapi
CodeHackerBhx5 小时前
Spring Boot 4 防重复提交:从接口幂等到 Redis 分布式锁的完整实践
java·数据库·spring boot·redis·分布式
Pokerhead5 小时前
一个 Codex,能装下所有 AI 模型?
大数据·人工智能·ai·大模型·ai编程·codex
RD_daoyi6 小时前
Google核心算法不再通知!全年持续滚动更新
大数据·服务器·前端·网络·搜索引擎·.net