1、 分布式的基础架构分析[重要]
集群架构模式:
主从架构(中心化):
主角色 master: 发号施令,负责任务的接受和分配
从角色 slave: 负责干活
主备架构:可以解决中心化存在的问题
主角色active : 正常工作
备角色standby : 观察主角色工作,并实时备份主角色数据,当主角色宕机后,立即上位.
去中心化模式 : 例如区块链
hadoop中的HDFS集群和Yarn集群都是主从模式架构.
2、HDFS的基础架构[重要]
HDFS的角色分配:
**NameNode:**是集群中的主角色或主节点,负责 DataNode的管理工作
**DataNode:**是集群中的从角色或从节点, 负责数据文件的读或写
SecondaryNameNode: 是集群中的辅助角色或辅助节点,负责帮助NameNode完成管理工作(负责元数据的合并工作).
NN在开发中只有一个主服务，容易出现单点故障，在主从架构中，一旦主服务不可用，整个服务都不可用使用
主备方式解决单点故障运行多个NN，但是对外处理请求的只有一个
一般公司选择是一主一备方案
一个典型的HDFS集群中会有多个DataNode,但是活跃的NameNode只能有一个,如果集群资源不足,则需要扩展DataNode节点数量.如果元数据管理能力不足,则需要给namenode提升服务器性能.
HDFS是一个标准的主从架构
注意: 通常情况下, NameNode的服务器性能,要比DataNode高.(cpu和内存大)
3、服务的启动
1）一键启动hdfs集群
2）一键关闭hdfs集群
3）如果遇到命令未找到的错误，表明环境变量未配置好，可以以绝对路径执行
/export/server/hadoop/sbin/start-dfs.sh
/export/server/hadoop/sbin/stop-dfs.sh
服务启动后可以使用jps查看服务进程
4、使用浏览器访问服务，验证服务器是否启动
namenode所在服务器的ip地址:9870
192.168.88.100:9870
可以在浏览器看虚拟服务器的内容
5、使用ls指令查看hdfs中的文件目录信息
1）hdfs dfs -ls 路径 //路径要从根路径指定
2）hadoop fs -ls 路径
6、hdfs的文件目录操作
1）hdfs dfs -mkdir /路径
2）hdfs dfs -touch /路径/文件
3）hdfs dfs -mv 原始路径 目录路径
4）hdfs dfs -cp 原始路径 目录路径
5）hdfs dfs -rm -r /路径
7、文件的上传和下载
1）put指令：从linux服务器本地上传到hdfs文件系统中
hdfs dfs -put 本地文件路径（写绝对路径）hdfs的路径
如：hdfs dfs -put /var/log/messages /
2）get命令：从hdfs文件系统将文件下载到linux文件系统中
hdfs dfs -get hdfs的文件路径 本地文件路径
hdfs dfs -get /sparklog/a.txt /root
注意：在hdfs中使用任何文件或者目录，要使用绝对路径进行查找，在hdfs中没有工作目录的概念，更没有绝对路径的概念
8、一些简单的练习
1）在hdfs中创建文件夹：/it/a，如果存在请删除
hdfs dfs -mkdir -p /it/a
2）上传/etc/hosts文件到hdfs的it/a内
hdfs dfs -put /etc/hosts /it/a
3）向hdfs中上传的文件追加：ldafjlfd到最后一行
touch /a.txt
echo ldafjlfd > /a.txt
hdfs dfs -appendToFile /a.txt /it/a/hosts
4）下载hdfs中上传的文件到本地目录
hdfs dfs -get /it/a/hosts /
5）将/it/a/hosts文件复制根目录下
hdfs dfs -cp /it/a/hosts /
6）将/it/a/hosts文件重命名为/it/mvhosts
hdfs dfs -mv /hosts /it/mvhosts
7）在hdfs中删除/it文件夹
hdfs dfs -rm -rf /it
9、HDFS webUI的使用(掌握)
我们可以使用node1:9870打开hdfs的网页端,但是前提是必须配置windows系统下的主机映射,否则只能使用ip访问
192.168.88.100:9870
打开C:\Windows\System32\drivers\etc\hosts文件在下方写入主机映射内容
192.168.88.100 node1 node1.itcast.cn
192.168.88.101 node2 node2.itcast.cn
192.168.88.102 node3 node3.itcast.cn
在这里面可以可视化上传下载修改文件，比较方便