大数据学习十二天(补hadoop基础1)

1、 分布式的基础架构分析重要

集群架构模式:

主从架构(中心化):

  • 主角色 master: 发号施令,负责任务的接受和分配

  • 从角色 slave: 负责干活

主备架构:可以解决中心化存在的问题

  • 主角色active : 正常工作

  • 备角色standby : 观察主角色工作,并实时备份主角色数据,当主角色宕机后,立即上位.

去中心化模式 : 例如区块链

hadoop中的HDFS集群和Yarn集群都是主从模式架构.

2、HDFS的基础架构重要

HDFS的角色分配:

**NameNode:**是集群中的主角色或主节点,负责 DataNode的管理工作

**DataNode:**是集群中的从角色或从节点, 负责数据文件的读或写

SecondaryNameNode: 是集群中的辅助角色或辅助节点,负责帮助NameNode完成管理工作(负责元数据的合并工作).


NN在开发中只有一个主服务,容易出现单点故障,在主从架构中,一旦主服务不可用,整个服务都不可用

使用主备方式解决单点故障

运行多个NN,但是对外处理请求的只有一个

一般公司选择是一主一备方案


一个典型的HDFS集群中会有多个DataNode,但是活跃的NameNode只能有一个,如果集群资源不足,则需要扩展DataNode节点数量.如果元数据管理能力不足,则需要给namenode提升服务器性能.

HDFS是一个标准的主从架构

注意: 通常情况下, NameNode的服务器性能,要比DataNode高.(cpu和内存大)

3、服务的启动

1)一键启动hdfs集群

start-dfs.sh

2)一键关闭hdfs集群

stop-dfs.sh

3)如果遇到命令未找到的错误,表明环境变量未配置好,可以以绝对路径执行

/export/server/hadoop/sbin/start-dfs.sh

/export/server/hadoop/sbin/stop-dfs.sh

服务启动后可以使用jps查看服务进程

4、使用浏览器访问服务,验证服务器是否启动

namenode所在服务器的ip地址:9870

192.168.88.100:9870

可以在浏览器看虚拟服务器的内容

5、使用ls指令查看hdfs中的文件目录信息

1)hdfs dfs -ls 路径 //路径要从根路径指定

2)hadoop fs -ls 路径

6、hdfs的文件目录操作

1)hdfs dfs -mkdir /路径

2)hdfs dfs -touch /路径/文件

3)hdfs dfs -mv 原始路径 目录路径

4)hdfs dfs -cp 原始路径 目录路径

5)hdfs dfs -rm -r /路径

7、文件的上传和下载

1)put指令:从linux服务器本地上传到hdfs文件系统中

hdfs dfs -put 本地文件路径(写绝对路径)hdfs的路径

如:hdfs dfs -put /var/log/messages /

2)get命令:从hdfs文件系统将文件下载到linux文件系统中

hdfs dfs -get hdfs的文件路径 本地文件路径

hdfs dfs -get /sparklog/a.txt /root

注意:在hdfs中使用任何文件或者目录,要使用绝对路径进行查找,在hdfs中没有工作目录的概念,更没有绝对路径的概念

8、一些简单的练习

1)在hdfs中创建文件夹:/it/a,如果存在请删除

hdfs dfs -mkdir -p /it/a

2)上传/etc/hosts文件到hdfs的it/a内

hdfs dfs -put /etc/hosts /it/a

3)向hdfs中上传的文件追加:ldafjlfd到最后一行

touch /a.txt

echo ldafjlfd > /a.txt

hdfs dfs -appendToFile /a.txt /it/a/hosts

4)下载hdfs中上传的文件到本地目录

hdfs dfs -get /it/a/hosts /

5)将/it/a/hosts文件复制根目录下

hdfs dfs -cp /it/a/hosts /

6)将/it/a/hosts文件重命名为/it/mvhosts

hdfs dfs -mv /hosts /it/mvhosts

7)在hdfs中删除/it文件夹

hdfs dfs -rm -rf /it

9、HDFS webUI的使用(掌握)

我们可以使用node1:9870打开hdfs的网页端,但是前提是必须配置windows系统下的主机映射,否则只能使用ip访问

192.168.88.100:9870

打开C:\Windows\System32\drivers\etc\hosts文件

在下方写入主机映射内容

192.168.88.100 node1 node1.itcast.cn

192.168.88.101 node2 node2.itcast.cn

192.168.88.102 node3 node3.itcast.cn

在这里面可以可视化上传下载修改文件,比较方便

相关推荐
Hhy_1107几秒前
《C++深度解构07》手撕 vector —— 从底层三指针架构到迭代器失效彻底吃透
c语言·开发语言·c++·学习·visual studio
艾莉丝努力练剑44 分钟前
【QT】系统相关:TCP的API介绍
开发语言·前端·c++·人工智能·qt·学习·tcp/ip
安心联-车辆监控管理系统1 小时前
以事实为基础,详解车辆主动安全相关功能
大数据·人工智能·安全
yiangL_14 小时前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
大大大大晴天16 小时前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云17 小时前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
优化Henry17 小时前
LTE 站点 S1 链路反复闪断导致小区频闪退服故障排查
运维·网络·学习·信息与通信·tdd
演艺大赏18 小时前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
Aloudata19 小时前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售
躺柒19 小时前
读数据分析思维通识课07数据思维图
大数据·数据挖掘·数据分析·大数据分析·数据思维图