hadoop第3课(hdfs shell)

一.基本操作命令

显示目录下的文件列表命令:-ls

hadoop fs -ls /

创建文件夹命令:-mkdir

hadoop fs -mkdir /test

上传文件命令:-put或-copyFromLocal

hadoop fs -put words.log /test

查看文件内容命令:-cat或-tail或-text

hadoop fs -cat /test/words.log

注意:对于压缩文件只能用 text 命令来查看文件内容,否则文件内容显示乱码。

文件复制命令:-get或-copyToLocal

hadoop fs -get /test/words.log /home/hadoop/app/hadoop/data

注意:本地目录需要提前创建。

删除文件命令:-rm

hadoop fs -rm /test/words.log

删除文件夹命令:-rm -r

Hadoop fs -rm -r /test

二.管理员操作命令

返回HDFS集群的状态信息

hdfs dfsadmin -report

保存HDFS集群相关节点信息

hdfs dfsadmin -metasave metasave.tt

备注:metasave.tt文件保存在{hadoop.log.dir}目录下,该目录默认是hadoop安装目录的logs目录。

从namenode获取最新的fsimage文件

hdfs dfsadmin -fetchImage ~

打印集群网络拓扑

hdfs dfsadmin -printTopology

备注:因为当前Hadoop是伪分布集群,所以默认只有一个机架default-rack,机架下面只有一个节点hadoop1。

刷新集群节点信息

hdfs dfsadmin -refreshNodes

三.安全模式命令

介绍:

安全模式(safemode)是Hadoop的一种保护机制,用于保证集群中数据块的安全性。当启动NameNode服务时就会启动safemode,在该模式下,NameNode会等待DataNode向它发送块报告。只有当NameNode接收到的块数量(datanodes blocks)和实际的块数量(total blocks)接近一致时,即满足datanodes blocks/total blocks >= 99.9% 这个阀值,NameNode就会退出安全模式。
查看安全模式状态

hdfs dfsadmin -safemode get

进入安全模式

hdfs dfsadmin -safemode enter

备注:在NameNode安全模式下,不允许用户对HDFS中的文件或者文件夹进行增删改操作。

退出安全模式

hdfs dfsadmin -safemode leave

相关推荐
智能化咨询4 分钟前
(101页PPT)SAP凯致半导体数字化升级项目方案(附下载方式)
大数据
计算机毕业编程指导师1 小时前
【计算机毕设推荐】Python+Spark卵巢癌风险数据可视化系统完整实现 毕业设计 选题推荐 毕设选题 数据分析 机器学习 数据挖掘
hadoop·python·计算机·数据挖掘·spark·毕业设计·卵巢癌
极光代码工作室1 小时前
基于大数据的校园消费行为分析系统
大数据·hadoop·python·数据分析·spark
雷工笔记1 小时前
MES 系统设备管理模块详细设计方案
大数据·运维·网络
许彰午2 小时前
# 从OOM到根治的完整过程——导出大数据的应急、根因分析与游标方案
java·大数据·数据库·系统架构
Justice Young2 小时前
Flink第四章:运行架构
大数据·flink
陈天伟教授3 小时前
AI 未来趋势:产业应用范式之变
大数据·开发语言·人工智能·gpt
智能化咨询3 小时前
(112页PPT)德勤制造业企业数据治理平台规划方案(附下载方式)
大数据·运维·人工智能
eastyuxiao3 小时前
流程图 + 配置清单 在团队 / 公司项目管理场景的落地应用
大数据·运维·人工智能·流程图