0目录
|--------------------------------------------------------------------|
| 1.hadoop 安装问题处理 2.hdfs 基本命令 3. 上传/下载文件和文件夹 |
1.hadoop安装问题处理
|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 如果安装有进程无法启动，如下图 
重新检查6个配置文件 Core-site.xml \ hdfs-site.xml \ hadoop-env.sh \ yarn-site.xml \ workers \ yarn-site.xml 
|
| 来到hadoop313目录 
清空data和yarndata 
|
| 重新初始化 
|
| 测试 
|
| |
| |
2.hadoop hdfs基本命令
|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| Windows 目录添加端口号 
|
| 测试 
|
| 分布式启动命令 关闭 
启动dfs.sh 
关闭dfs.sh 
启动yarn 
|
| 对应 dfs.sh 对应 DataNode / NameNode / SecondaryNameNode yarn.sh 对应 ResourceManager / NodeManager |
| 启动单一进程 来到sbin目录下 启动hdfs 
启动yarn 
|
3.上传/下载文件夹和文档
|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 目前没有文件和文档 
|
| Opt 目录下创建kb23tmp文件夹，kb23tmp创建hellohadoop.txt 
|
| 编辑hellohadoop.txt 
|
| 上传 
|
| 上传成功 
|
| 上传文件 来到install目录下 
hdfs 创建 install文件 
上传 root@kb130 install# hdfs dfs -put ./hadoop313.gz /install 
上传成功 
3个节点 
删除文档 
删除文件夹 
下载 将hellohadoop.txt 下载到当前（kb23tmp目录下） 
|
| 补充常见端口号 * 常用端口号 hadoop3.x HDFS NameNode 内部通常端口: 8020/9000/9820 HDFS NameNode 对用户的查询端口:9870 Yarn查看任务运行情况的:8088 历史服务器:19888 hadoop2.x HDFS NameNode内部通常端口:8020/9000 HDFS NameNode 对用户的查询端口: 50070 Yarn查看任务运行情况的:8088 历史服务器:19888 二、常用的配置文件 3.x core-site. xml hdfs-site. xml yarn-site. xml mapred-site.xml workers 2.x core-site. xml hdfs-site.xml yarn-site.xml mapred-site.xml slaves |
| Yarn 
|
| 开启历史服务器 
|