hadoop集群的常用命令

上传文件

hadoop fs -put a.txt /a/b

下载文件

hadoop fs -get /a/b/* ./

查看文件
hadoop fs -ls /a/b

递归删除文件夹
hadoop fs -rm -r /a/b

分屏查看
hadoop fs -cat /a/b/* | more

把hdfs一堆小文件合并到本地的一个文件中
hadoop fs -cat /a/b/* >> test.csv

统计文件行数
hadoop fs -cat /a* | wc -l

统计文件大小
hadoop fs -count -h /file

du统计文件大小
hadoop fs -du -h / # 统计文件夹下每个文件的大小
hadoop fs -du -s -h / #统计这个文件夹总大小,返回的数据是,文件夹大小,备份总大小
hadoop fs -count / # 统计文件数量,返回的数据是目录个数,文件个数,文件总计大小,输入路径

yarn

杀死yarn任务
yarn application -kill application_id

查看yarn日志
yarn logs -applicationId application_id > logs.txt

查看yarn正在运行的任务列表
yarn application -list

查找yarn已经完成的任务列表
yarn application -appStates finished -list

查找yarn所有任务列表
yarn application -appStates ALL -list

相关推荐
爱丶狸5 小时前
Grafana_Zabbix_ImageRenderer_部署与前端操作手册
linux·前端·zabbix·grafana·kylin
天国梦6 小时前
自习室智能化升级避坑指南:天学网AI智习室方案实测与选型建议
大数据·人工智能
k4m7v2pz7 小时前
把 Bevy 0.14 游戏移植到 R36S 掌机:一场与“无窗口系统“的搏斗
linux·rust·bevy·r36s·rk3326·开源掌机
木子欢儿8 小时前
Intel 架构的 MacBook Pro 运行 Linux 发热量高解决
linux·运维·服务器
瓦学妹9 小时前
什么是网络索引?它是如何工作的?
大数据·网络·python·网络爬虫
天天爱吃肉82189 小时前
商用车多体动力学实战笔记|第6篇:动力传动系统(发动机、变速箱、分动器、TCS、LSD限滑差速)
大数据·人工智能·笔记·python·嵌入式硬件·汽车
EAIReport11 小时前
工业电气自动化数据治理破局:多Agent大模型赋能全景智能决策
大数据·运维·自动化
会编程的土豆11 小时前
Go 模板初识
linux·运维·服务器
一名普通的电源工程师12 小时前
E0512XT-1WR3 适配优选 钡特电源 DF1-05D12XT|1W 隔离5V转±12V模块电源选型参数技术解析
大数据·网络·人工智能
SelectDB12 小时前
Apache Doris 2026 Roadmap:AI 时代数据基础设施如何选型?Doris 给出了三层架构答案
大数据