【并行分布计算】Hadoop伪分布搭建

Hadoop伪分布搭建

  1. 修改core-site.xml

fs.defaultFS设置的是HDFS的地址,设置运行在本地的9000端口上

hadoop.tmp.dir设置的是临时目录,如果没有设置的话默认在/tmp/hadoop-${user.name}中,系统重启后会导致数据丢失,因此修改这个临时目录的路径

创建临时目录:

root@hadoop00 hadoop\]# mkdir -p /export/servers/hadoop-2.7.6/tmp 2.修改hdfs-site.xml ![](https://i-blog.csdnimg.cn/direct/56613812de634cc69b7d766c8edc8ccc.png) dfs.replication设置的是HDFS存储的临时备份数量,因为伪分布模式中只有一个节点,所以设置为1。 3.修改hadoop-env.sh ![](https://i-blog.csdnimg.cn/direct/1b18433c70fd4d3abe02ad5a965e3134.png) 4. 本地无密码ssh连接 (1)查看是否开启sshd服务 \[root@hadoop00 hadoop\]# systemctl status sshd ![](https://i-blog.csdnimg.cn/direct/443f16e4a7944dc1a0e3ef62fd557f09.png) (2)localhost连接 ![](https://i-blog.csdnimg.cn/direct/8fb04812f6dd40849a56999f50c0ce45.png) (3)配置密钥认证连接 ![](https://i-blog.csdnimg.cn/direct/2a5b28fe23234058adadf7878f47385d.png) ![](https://i-blog.csdnimg.cn/direct/5aa38a94d4814773bb72b5e8bde0f58b.png) 5.配置文件 (1)配置core-site.xml \[root@hadoop00 hadoop\]# vi core-site.xml ![](https://i-blog.csdnimg.cn/direct/e480ce73255f46819ff174eb88ea3419.png) (2)配置hdfs-site.xml \[root@hadoop00 hadoop\]# vi hdfs-site.xml 对hdfs-site.xml进行同样的替换操作,属性的含义分别为复制的块的数量、DFS管理节点的本地存储路径、DFS数据节点的本地存储路径 ![](https://i-blog.csdnimg.cn/direct/3db0f32d2c7c4783b5446f3ee178c56e.png) (3)配置mapred-site.xml \[root@hadoop00 hadoop\]# vi mapred-site.xml yarn 是一种资源管理和作业调度技术,作为Hadoop 的核心组件之一,负责将系统资源分配给在 Hadoop 集群中运行的各种应用程序,并调度要在不同集群节点上执行的任务,其基本思想是将资源管理和作业调度/监视的功能分解为单独的 daemon,总体上yarn是 master/slave 结构,在整个资源管理框架中,ResourceManager 为 master,NodeManager 是 slaver。 ![](https://i-blog.csdnimg.cn/direct/b9024567340e405a8c72f732783eebc1.png) (4)配置yarn-site.xml \[root@hadoop00 hadoop\]# vi yarn-site.xml 配置yarn-site.xml文件,这里修改NodeManager上运行的附属服务即可: ![](https://i-blog.csdnimg.cn/direct/3be6b5e7828048b58b10453da4d6e6ce.png) 6. 格式化后启动、调用实例、停止所有运行的hadoop进程 (1)格式化并启动 \[root@hadoop00 hadoop-2.7.6\]# bin/hdfs namenode -format ![](https://i-blog.csdnimg.cn/direct/3986f264300e403687a6876f0bd562b4.png) (2)启动全部进程 \[root@hadoop00 hadoop-2.7.6\]# start-all.sh ![](https://i-blog.csdnimg.cn/direct/c53a23a2a1a84997af490f98d439e516.png) 7.测试 (1)生成输入目录 bin/hdfs dfs -mkdir /user bin/hdfs dfs -mkdir /user/root bin/hdfs dfs -mkdir input bin/hdfs dfs -put etc/hadoop/\*.xml input(2)测试 (2)测试 hdfs dfs -put /export/servers/hadoop-2.7.6/etc/hadoop/\*.xml input (3)获取输出 ![](https://i-blog.csdnimg.cn/direct/b0d42ef391d74bd9b2f62b53d0a7f47a.png)

相关推荐
Maki Winster43 分钟前
在 Ubuntu 下配置 oh-my-posh —— 普通用户 + root 各自使用独立主题(共享可执行)
linux·运维·ubuntu
守望时空331 小时前
Linux下KDE桌面创建自定义右键菜单
linux
l0sgAi1 小时前
vLLM在RTX50系显卡上部署大模型-使用wsl2
linux·人工智能
麟城Lincoln2 小时前
【RHCSA-Linux考试题目笔记(自用)】servera的题目
linux·笔记·考试·rhcsa
寻月隐君3 小时前
保姆级教程:Zsh + Oh My Zsh 终极配置,让你的 Ubuntu 终端效率倍增
linux·后端·命令行
XM-54583 小时前
2025微信小程序wxapkg解包全攻略
linux·运维·小程序
朗晴3 小时前
文本编辑器VIM的使用方法!
linux·运维·服务器
2401_8260976211 小时前
JavaEE-Linux环境部署
java·linux·java-ee
(:满天星:)12 小时前
第31篇:块设备与字符设备管理深度解析(基于OpenEuler 24.03)
linux·运维·服务器·网络·centos
爱莉希雅&&&12 小时前
shell编程之awk命令详解
linux·服务器·git