Hadoop Hdfs基本命令

0目录

|--------------------------------------------------------------------|
| 1.hadoop 安装问题处理 2.hdfs 基本命令 3. 上传/下载文件和文件夹 |

1.hadoop安装问题处理

|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 如果安装有进程无法启动,如下图 重新检查6个配置文件 Core-site.xml \ hdfs-site.xml \ hadoop-env.sh \ yarn-site.xml \ workers \ yarn-site.xml |
| 来到hadoop313目录 清空data和yarndata |
| 重新初始化 |
| 测试 |
| |
| |

2.hadoop hdfs基本命令

|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| Windows 目录添加端口号 |
| 测试 |
| 分布式启动命令 关闭 启动dfs.sh 关闭dfs.sh 启动yarn |
| 对应 dfs.sh 对应 DataNode / NameNode / SecondaryNameNode yarn.sh 对应 ResourceManager / NodeManager |
| 启动单一进程 来到sbin目录下 启动hdfs 启动yarn |

3.上传/下载文件夹和文档

|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 目前没有文件和文档 |
| Opt 目录下创建kb23tmp文件夹,kb23tmp创建hellohadoop.txt |
| 编辑hellohadoop.txt |
| 上传 |
| 上传成功 |
| 上传文件 来到install目录下 hdfs 创建 install文件 上传 root@kb130 install# hdfs dfs -put ./hadoop313.gz /install 上传成功 3个节点 删除文档 删除文件夹 下载 将hellohadoop.txt 下载到当前(kb23tmp目录下) |
| 补充常见端口号 * 常用端口号 hadoop3.x HDFS NameNode 内部通常端口: 8020/9000/9820 HDFS NameNode 对用户的查询端口:9870 Yarn查看任务运行情况的:8088 历史服务器:19888 hadoop2.x HDFS NameNode内部通常端口:8020/9000 HDFS NameNode 对用户的查询端口: 50070 Yarn查看任务运行情况的:8088 历史服务器:19888 二、常用的配置文件 3.x core-site. xml hdfs-site. xml yarn-site. xml mapred-site.xml workers 2.x core-site. xml hdfs-site.xml yarn-site.xml mapred-site.xml slaves |
| Yarn |
| 开启历史服务器 |

相关推荐
tianyuanwo11 小时前
NocoDB 系统手册:PostgreSQL 主机资产管理的界面层实施方案
数据库·postgresql·oracle
Umi·11 小时前
MySQL之多表关联查询练习
数据库·mysql
实泽有之,无泽虚之11 小时前
Windows环境bat脚本自动备份MySQL数据库并清理旧备份文件
数据库·mysql
索西引擎12 小时前
MySQL 进阶:锁机制
数据库·mysql
演艺大赏12 小时前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
演艺大赏13 小时前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
龙腾AI白云13 小时前
具身智能模仿学习与人类示教:从观察中习得动作
数据库·机器学习·知识图谱·pygame
Databend13 小时前
活动邀请函|AI 时代的湖仓实践,从应用场景到 Cloud Agent 上手
大数据·数据库·agent
星恒随风13 小时前
MySQL 从零入门(七):索引原理与 B+ 树详解——从磁盘 I/O 到 InnoDB 聚簇索引
linux·服务器·数据库·笔记·mysql