hadoop第3课(hdfs shell)

一.基本操作命令

显示目录下的文件列表命令:-ls

hadoop fs -ls /

创建文件夹命令:-mkdir

hadoop fs -mkdir /test

上传文件命令:-put或-copyFromLocal

hadoop fs -put words.log /test

查看文件内容命令:-cat或-tail或-text

hadoop fs -cat /test/words.log

注意:对于压缩文件只能用 text 命令来查看文件内容,否则文件内容显示乱码。

文件复制命令:-get或-copyToLocal

hadoop fs -get /test/words.log /home/hadoop/app/hadoop/data

注意:本地目录需要提前创建。

删除文件命令:-rm

hadoop fs -rm /test/words.log

删除文件夹命令:-rm -r

Hadoop fs -rm -r /test

二.管理员操作命令

返回HDFS集群的状态信息

hdfs dfsadmin -report

保存HDFS集群相关节点信息

hdfs dfsadmin -metasave metasave.tt

备注:metasave.tt文件保存在{hadoop.log.dir}目录下,该目录默认是hadoop安装目录的logs目录。

从namenode获取最新的fsimage文件

hdfs dfsadmin -fetchImage ~

打印集群网络拓扑

hdfs dfsadmin -printTopology

备注:因为当前Hadoop是伪分布集群,所以默认只有一个机架default-rack,机架下面只有一个节点hadoop1。

刷新集群节点信息

hdfs dfsadmin -refreshNodes

三.安全模式命令

介绍:

安全模式(safemode)是Hadoop的一种保护机制,用于保证集群中数据块的安全性。当启动NameNode服务时就会启动safemode,在该模式下,NameNode会等待DataNode向它发送块报告。只有当NameNode接收到的块数量(datanodes blocks)和实际的块数量(total blocks)接近一致时,即满足datanodes blocks/total blocks >= 99.9% 这个阀值,NameNode就会退出安全模式。
查看安全模式状态

hdfs dfsadmin -safemode get

进入安全模式

hdfs dfsadmin -safemode enter

备注:在NameNode安全模式下,不允许用户对HDFS中的文件或者文件夹进行增删改操作。

退出安全模式

hdfs dfsadmin -safemode leave

相关推荐
昨夜见军贴0616几秒前
IA-Lab AI 检测报告生成助手:土壤重金属检测报告如何实现GB 15618标准自动解析,推动降本与合规双升级?
大数据·人工智能
中钧科技3 分钟前
数字化的本质、核心、重点各是什么?
大数据·人工智能
TDengine (老段)19 分钟前
TDengine IDMP 事件 —— 事件模板
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据
蓝天守卫者联盟132 分钟前
多段式TO炉厂家深度解析:技术选型与行业应用洞察
大数据
斯特凡今天也很帅33 分钟前
Elasticsearch数据库专栏(二)DSL语句总结(更新中)
大数据·elasticsearch·搜索引擎
杰建云16737 分钟前
多门店小程序和连锁管理系统的区别?
大数据·小程序制作
mhkxbq41 分钟前
昆仑G5580、G5680 V2、G2280及泰山鲲鹏200,AI大数据优选服务器
大数据·服务器·人工智能
Henb9291 小时前
# Spark 内核级调优源码分析
大数据·ajax·spark
q_35488851531 小时前
计算机毕业设计:Python智慧水文监测与流量预测系统 Flask框架 多元线性回归 数据分析 可视化 水网 流量预测 水位预测(建议收藏)✅
大数据·python·信息可视化·数据挖掘·flask·线性回归·课程设计
二十七剑1 小时前
Elasticsearch的索引问题
大数据·elasticsearch·搜索引擎