hadoop shell操作 hdfs处理文件命令 hdfs上传命令 hadoop fs -put命令hadoop fs相关命令 hadoop(十三)

hadoop fs -help rm 查看rm命令作用

hadoop fs 查看命令

  1. 创建文件夹:

    hdfs前缀也是可以的。更推荐hadoop

    hadoop fs -mkdir /sanguo

2.上传至hdfs命令:

作用: 从本地上传hdfs系统 (本地文件被剪切走,不存在了)

命令:

bash 复制代码
# 新建文件
vi shuguo.txt
#进入后 输入一些文字,保存退出即可

#同shuguo.txt要在同目录下,输入命令
hadoop fs -moveFromLocal shuguo.txt /sanguo
  1. 拷贝文件上传到hdfs系统:
bash 复制代码
#新增文件
vi weiguo.txt
# 输入一些文字,保存并退出
 
# 从本地复制一份文件,至hdfs文件系统
hadoop fs -copyFromLocal weiguo.txt /sanguo


# 同上相同,更推荐这种,更加简洁
hadoop fs -put weiguo.txt /sanguo
  1. 追加文件内容:
bash 复制代码
# 新建文件
vi liubei.txt
# 输入一些文字,保存并退出

# 
hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt

  1. 从hdfs下载至本地:
bash 复制代码
# copy
hadoop fs -copyToLocal /sanguo/shuguo.txt ./


# 更推荐这种,简洁
# 下载
hadoop fs -get /sanguo/shuguo.txt ./
  1. ls命令:
bash 复制代码
hadoop fs -ls /sanguo
  1. cat命令:
bash 复制代码
hadoop fs -cat /sanguo/shuguo.txt

8.更改权限:

bash 复制代码
hadoop fs -chown hadoop:hadoop /sanguo/shuguo.txt
  1. cp 复制:
bash 复制代码
# 创建文件夹
hadoop fs -mkdir /jinguo
# 复制
hadoop fs -cp /sanguo/shuguo.txt /jinguo
  1. mv 移动:
bash 复制代码
hadoop fs -mv /sanguo/weiguo.txt /jinguo
  1. tail 查看
bash 复制代码
hadoop fs -tail /sanguo/shuguo.txt
  1. 删除文件或文件夹
bash 复制代码
# 删除文件
hadoop fs -rm /sanguo/shuguo.txt

# 递归删除文件夹
hadoop fs -rm -r /sanguo
  1. 统计文件夹大小信息:
bash 复制代码
hadoop fs -du -s -h /sanguo

27 文件大小, 81 副本*文件大小

下面是查看文件夹每个文件的统计信息

bash 复制代码
hadoop fs -du  -h /sanguo
  1. 设置副本数量:
bash 复制代码
hadoop fs -setrep 2 /sanguo/shuguo.txt

副本数量记录在NameNode,不要设置超过节点数量的副本,设置超过节点数,最多也只是总节点数量的副本,不会超过DataNode节点数, 如果设置8个副本,如果DataNode节点数有8个,才会有8个副本

总结:命令太多不一一列举了,同centos系统一样,只是前面加了hadoop fs, 很容易记住

相关推荐
BYSJMG9 分钟前
计算机毕设选题:基于Python+MySQL校园美食推荐系统【源码+文档+调试】
大数据·开发语言·python·mysql·django·课程设计·美食
索迪迈科技1 小时前
Flink Task线程处理模型:Mailbox
java·大数据·开发语言·数据结构·算法·flink
深空数字孪生7 小时前
储能调峰新实践:智慧能源平台如何保障风电消纳与电网稳定?
大数据·人工智能·物联网
百胜软件@百胜软件7 小时前
胜券POS:打造智能移动终端,让零售智慧运营触手可及
大数据
摩羯座-185690305948 小时前
Python数据可视化基础:使用Matplotlib绘制图表
大数据·python·信息可视化·matplotlib
在未来等你8 小时前
Kafka面试精讲 Day 13:故障检测与自动恢复
大数据·分布式·面试·kafka·消息队列
jiedaodezhuti8 小时前
Flink通讯超时问题深度解析:Akka AskTimeoutException解决方案
大数据·flink
庄小焱9 小时前
大数据存储域——Kafka实战经验总结
大数据·kafka·大数据存储域
zskj_qcxjqr10 小时前
告别传统繁琐!七彩喜艾灸机器人:一键开启智能养生新时代
大数据·人工智能·科技·机器人
每日新鲜事11 小时前
Saucony索康尼推出全新 WOOOLLY 运动生活羊毛系列 生动无理由,从专业跑步延展运动生活的每一刻
大数据·人工智能