【并行分布计算】Hadoop伪分布搭建

Hadoop伪分布搭建

  1. 修改core-site.xml

fs.defaultFS设置的是HDFS的地址,设置运行在本地的9000端口上

hadoop.tmp.dir设置的是临时目录,如果没有设置的话默认在/tmp/hadoop-${user.name}中,系统重启后会导致数据丢失,因此修改这个临时目录的路径

创建临时目录:

root@hadoop00 hadoop\]# mkdir -p /export/servers/hadoop-2.7.6/tmp 2.修改hdfs-site.xml ![](https://i-blog.csdnimg.cn/direct/56613812de634cc69b7d766c8edc8ccc.png) dfs.replication设置的是HDFS存储的临时备份数量,因为伪分布模式中只有一个节点,所以设置为1。 3.修改hadoop-env.sh ![](https://i-blog.csdnimg.cn/direct/1b18433c70fd4d3abe02ad5a965e3134.png) 4. 本地无密码ssh连接 (1)查看是否开启sshd服务 \[root@hadoop00 hadoop\]# systemctl status sshd ![](https://i-blog.csdnimg.cn/direct/443f16e4a7944dc1a0e3ef62fd557f09.png) (2)localhost连接 ![](https://i-blog.csdnimg.cn/direct/8fb04812f6dd40849a56999f50c0ce45.png) (3)配置密钥认证连接 ![](https://i-blog.csdnimg.cn/direct/2a5b28fe23234058adadf7878f47385d.png) ![](https://i-blog.csdnimg.cn/direct/5aa38a94d4814773bb72b5e8bde0f58b.png) 5.配置文件 (1)配置core-site.xml \[root@hadoop00 hadoop\]# vi core-site.xml ![](https://i-blog.csdnimg.cn/direct/e480ce73255f46819ff174eb88ea3419.png) (2)配置hdfs-site.xml \[root@hadoop00 hadoop\]# vi hdfs-site.xml 对hdfs-site.xml进行同样的替换操作,属性的含义分别为复制的块的数量、DFS管理节点的本地存储路径、DFS数据节点的本地存储路径 ![](https://i-blog.csdnimg.cn/direct/3db0f32d2c7c4783b5446f3ee178c56e.png) (3)配置mapred-site.xml \[root@hadoop00 hadoop\]# vi mapred-site.xml yarn 是一种资源管理和作业调度技术,作为Hadoop 的核心组件之一,负责将系统资源分配给在 Hadoop 集群中运行的各种应用程序,并调度要在不同集群节点上执行的任务,其基本思想是将资源管理和作业调度/监视的功能分解为单独的 daemon,总体上yarn是 master/slave 结构,在整个资源管理框架中,ResourceManager 为 master,NodeManager 是 slaver。 ![](https://i-blog.csdnimg.cn/direct/b9024567340e405a8c72f732783eebc1.png) (4)配置yarn-site.xml \[root@hadoop00 hadoop\]# vi yarn-site.xml 配置yarn-site.xml文件,这里修改NodeManager上运行的附属服务即可: ![](https://i-blog.csdnimg.cn/direct/3be6b5e7828048b58b10453da4d6e6ce.png) 6. 格式化后启动、调用实例、停止所有运行的hadoop进程 (1)格式化并启动 \[root@hadoop00 hadoop-2.7.6\]# bin/hdfs namenode -format ![](https://i-blog.csdnimg.cn/direct/3986f264300e403687a6876f0bd562b4.png) (2)启动全部进程 \[root@hadoop00 hadoop-2.7.6\]# start-all.sh ![](https://i-blog.csdnimg.cn/direct/c53a23a2a1a84997af490f98d439e516.png) 7.测试 (1)生成输入目录 bin/hdfs dfs -mkdir /user bin/hdfs dfs -mkdir /user/root bin/hdfs dfs -mkdir input bin/hdfs dfs -put etc/hadoop/\*.xml input(2)测试 (2)测试 hdfs dfs -put /export/servers/hadoop-2.7.6/etc/hadoop/\*.xml input (3)获取输出 ![](https://i-blog.csdnimg.cn/direct/b0d42ef391d74bd9b2f62b53d0a7f47a.png)

相关推荐
tan77º24 分钟前
【Linux网络编程】Socket - UDP
linux·服务器·网络·c++·udp
czhc114007566335 分钟前
Linux 76 rsync
linux·运维·python
蓝易云2 小时前
Qt框架中connect()方法的ConnectionType参数使用说明 点击改变文章字体大小
linux·前端·后端
花落已飘2 小时前
多线程 vs 异步
linux·网络·系统架构
PanZonghui3 小时前
Centos项目部署之Nginx部署项目
linux·nginx
码出钞能力3 小时前
linux内核模块的查看
linux·运维·服务器
星辰云-4 小时前
# Linux Centos系统硬盘分区扩容
linux·运维·centos·磁盘扩容
聽雨2374 小时前
02每日简报20250704
linux·科技·金融·生活·社交电子·娱乐·媒体
Maki Winster5 小时前
Peek-Ubuntu上Gif录制工具-24.04LTS可装
linux·ubuntu·peek
Maki Winster6 小时前
在 Ubuntu 下配置 oh-my-posh —— 普通用户 + root 各自使用独立主题(共享可执行)
linux·运维·ubuntu