hadoop集群的常用命令

上传文件

hadoop fs -put a.txt /a/b

下载文件

hadoop fs -get /a/b/* ./

查看文件
hadoop fs -ls /a/b

递归删除文件夹
hadoop fs -rm -r /a/b

分屏查看
hadoop fs -cat /a/b/* | more

把hdfs一堆小文件合并到本地的一个文件中
hadoop fs -cat /a/b/* >> test.csv

统计文件行数
hadoop fs -cat /a* | wc -l

统计文件大小
hadoop fs -count -h /file

du统计文件大小
hadoop fs -du -h / # 统计文件夹下每个文件的大小
hadoop fs -du -s -h / #统计这个文件夹总大小,返回的数据是,文件夹大小,备份总大小
hadoop fs -count / # 统计文件数量,返回的数据是目录个数,文件个数,文件总计大小,输入路径

yarn

杀死yarn任务
yarn application -kill application_id

查看yarn日志
yarn logs -applicationId application_id > logs.txt

查看yarn正在运行的任务列表
yarn application -list

查找yarn已经完成的任务列表
yarn application -appStates finished -list

查找yarn所有任务列表
yarn application -appStates ALL -list

相关推荐
苍煜3 分钟前
Elasticsearch(ES)中的脚本(Script)
大数据·elasticsearch·搜索引擎
qq_2739002310 分钟前
CentOS系统防火墙服务介绍
linux·运维·centos
小余吃大鱼22 分钟前
CentOS中在线安装Docker(超详细)
linux·docker·centos
Hello kele23 分钟前
解构与重构:“整体部分”视角下的软件开发思维范式
大数据·经验分享·程序员·重构·项目管理·人月神话·沟通困局
程序员JerrySUN30 分钟前
驱动开发硬核特训 · Day 19:字符设备驱动实战(控制 LED)
linux·驱动开发
小灰灰__1 小时前
Linux安装ffmpeg7.1操作说明
linux·运维·服务器
Zz_waiting.1 小时前
网络原理 - 9
linux·服务器·网络·网络协议·tcp/ip
Elastic 中国社区官方博客1 小时前
使用 LangGraph 和 Elasticsearch 构建强大的 RAG 工作流
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
别这么骄傲1 小时前
Flink概念-状态一致性的三种级别
大数据·flink
你又食言了哦1 小时前
linux下使用wireshark捕捉snmp报文
linux·网络·wireshark