Hadoop环境安装和集群创建

本文提供基于VMware安装CentOS 7及配置Hadoop伪分布式/集群的简要步骤。

一、环境准备

下载VMware并安装,CentOS 7标准版ISO可从官网获取。

主机网络配置:编辑Windows hosts文件,映射主机名与IP(如192.168.1.76 master)。

关闭防火墙:systemctl stop firewalld并禁用自启,使用Xshell连接主机(支持rz/sz传文件)。

二、JDK安装

解压JDK至指定目录,配置/etc/profile环境变量(JAVA_HOME、CLASSPATH、PATH)。若32位版本报错,建议重装64位JDK或执行yum install glibc.i686。

三、Hadoop配置

环境变量:在/etc/profile中设置HADOOP_HOME并生效。

核心文件:

hadoop-env.sh:指定JAVA_HOME路径。

core-site.xml:设置fs.defaultFS为hdfs://master:9000,hadoop.tmp.dir为数据目录。

hdfs-site.xml:设置dfs.replication(伪分布式设为1)。

yarn-site.xml:配置ResourceManager地址及辅助服务。

mapred-site.xml:指定mapreduce.framework.name为yarn。

主机映射:修改/etc/hosts,配置master/slave IP。

SSH免密:生成密钥对,将公钥复制到各节点authorized_keys。

从节点:修改slaves文件(伪分布式写localhost,集群写slave主机名),并同步到从节点。

四、启动与验证

格式化HDFS:hadoop namenode -format。

启动服务:执行start-all.sh(或分别启动HDFS和YARN)。

验证:jps查看进程(Master应有NameNode、SecondaryNameNode、ResourceManager;Slave有DataNode、NodeManager)。

Web访问:http://master:50070(HDFS)和http://master:18088(YARN)确认正常。

相关推荐
骑着蜗牛撵大象3273 分钟前
闲鱼捡漏自动化:关键词加价格上限先粗筛,AI 大模型再做第一轮判定
大数据·人工智能·ai·自动化·二手交易·闲鱼·关键词监控
渣渣盟5 分钟前
Flink 状态管理深度剖析:从 KeyedState 到 RocksDB,状态如何存储、恢复与扩缩容
android·大数据·flink
Data-Miner10 分钟前
不本地部署,大模型怎么安全用?
大数据·人工智能·安全
IT研究室18 分钟前
最新大数据毕业设计选题推荐-基于大数据的Medicaid GLP-1药物利用与支出数据可视化分析-大数据-Spark-Hadoop-Bigdata
大数据·信息可视化·课程设计
龙亘川10 小时前
构建城市公共安全数字底座:亘川智城智慧安防系统全维度解读
java·大数据·开发语言·人工智能·信息可视化
BJ_Bonree11 小时前
博睿数据亮相第41届BFSI IT Summit Thailand
大数据·人工智能·物联网
好焊孙辉11 小时前
六成份额之后:鸿栢科技扩大产业规模的几点思考
大数据·人工智能·科技
跨境小彭11 小时前
Temu 全托管模式下,SKU 利润核算的实践复盘
大数据·运维·人工智能·自动化·temu
数智园区合作社11 小时前
问数平台怎么把同一个指标锁成一个数
大数据·数据库·人工智能·ai