1. hadoop 集群的常用命令

1.上传文件

1)hadoop fs -put words.txt /path/to/input/

2)hdfs dfs -put words.txt /path/wc/input/

2.获取hdfs中的文件

hadoop fs -get /path/wc/input/words.txt

3.合并下载多个文件

hadoop fs -getmerge /path/wc/input/words.txt /path/wc/input/words2.txt

4.查看某目录下所含文件

1)hadoop fs -ls /path/wc/input/

2)hadoop fs -ls hdfs://node1:9000/path/wc/input/

5.查看文件内容

hadoop fs -cat /path/wc/input/words.txt

6.显示一个文件的末尾

hadoop fs -tail /weblog/test.log

7.以字符形式打印一个文件的内容

hadoop fs -text /weblog/test.log

8.在hdfs上创建目录

hadoop fs -mkdir -p /aaa/bbb/cc/dd

9.从本地剪切粘贴到hdfs

hadoop fs -moveFromLocal /home/hadoop/a.txt /aaa/bbb/cc/dd

10.从hdfs剪切粘贴到本地

hadoop fs -moveToLocal /aaa/bbb/cc/dd /home/hadoop/a.txt

11.从本地文件系统中拷贝文件到hdfs路径去

hadoop fs -copyFromLocal /home/hadoop/a.txt /aaa/bbb/cc/dd

12.从hdfs拷贝到本地

hadoop fs -copyToLocal /aaa/bbb/cc/dd /home/hadoop/a.txt

13.从hdfs的一个路径拷贝hdfs的另一个路径

hadoop fs -cp /aaa/test1.txt /bbb/test2.txt

14.在hdfs目录中移动文件

hadoop fs -mv /aaa/jdk.tar.gz /

15.追加一个文件到已经存在的文件末尾

1)hadoop fs -appendToFile hello.txt hdfs://node1:9000/hello.txt

2)hadoop fs -appendToFile hello.txt /hello.txt

16.离开hadoop的 安全模式(系统处于只读状态,namenode不会处理任何块的复制和删除命令)

hadoop dfsadmin -safemode leave

17.删除目录及其里面内容

hadoop fs -rmr /path/wc/input/words.txt

18.删除空目录

hadoop fs -rmdir /aaa/bbb/ccc

19.与linux文件系统中的用法一样,对文件所属权限

1)hadoop fs -chmod 666 /hello.txt

2)hadoop fs -chown someuser:somegrp /hello.txt

20.统计文件系统的可用空间信息

hadoop fs -df -h /

21.统计文件夹的大小信息

hadoop fs -du -s -h /aaa/*

22.统计一个指定目录下的文件节点数量

hadoop fs -count /aaa/

23.设置hdfs中文件的副本数量

hadoop fs -setrep 3 /aaa/test.txt

相关推荐
曾阿伦3 天前
Windows 下运行 Hadoop 并部署到 AWS EMR 指南
hadoop·windows·aws
极光代码工作室4 天前
基于Spark的日志监控与分析平台
大数据·hadoop·python·spark·数据可视化
liuxiaowei35 天前
Winform+WPF双框架实战:喷涂工艺SCADA上位机从0到1搭建(附采集监控源码+车间踩坑实录)
大数据·hadoop·wpf
hkNaruto8 天前
【大数据】《传统Hadoop大数据技术入门:补充与进阶——从数据格式到智能决策的问答实录》
大数据·hadoop·分布式
牛奶咖啡139 天前
大数据Hadoop运维应用实践——双NameNode高可用Hadoop集群架构(下)
大数据·hadoop·hadoop集群配置文件解析·hadoop高可用集群安装部署·配置指定多台服务器相互免密·配置hadoop服务开机自启·ansible部署hadoop
李昊哲小课10 天前
spark4 集群安装
大数据·hadoop·zookeeper·spark
buligbulig10 天前
Hadoop环境安装和集群创建
大数据·hadoop·分布式
香山上的麻雀100811 天前
Hive内部表(MANAGED_TABLE)的“批量删除分区”特性详解
数据仓库·hive·hadoop
牛奶咖啡1312 天前
大数据Hadoop运维应用实践——双NameNode高可用Hadoop集群架构(上)
hadoop·高可用hadoop集群搭建·给服务器做免密信任·修改服务器主机名称·服务器本地配置主机名与ip映射·服务器配置jdk环境·服务器安装zooker
jjjava2.013 天前
SpringMVC入门指南:从零掌握核心要点
数据仓库·hive·hadoop