上传文件到HDFS

1.创建文件夹

hdfs -dfs -mkdir -p /opt/mydoc

2.查看创建的文件夹

hdfs -dfs -ls /opt

注意改文件夹是创建在hdfs中的,不是本地,查看本地/opt,并没有该文件夹。

3.上传文件

hdfs dfs -put -f file:///usr/local/testspark.txt hdfs://master:9000/opt/mydoc

4.查看上传的文件

hdfs dfs -ls /opt/mydoc

也可以在浏览器中查看

5.遇到的问题

mkdir: '/opt/mydoc': Input/output error

应该是hdfs配置的问题,一开始在安装spark环境时没有配置hadoop相关文件,参考Spark Standalone模式部署-CSDN博客第三章,安装配置好hadoop并启动,再次执行上述命令时,成功。

相关推荐
橘子编程6 分钟前
Spark全栈指南:从入门到精通
大数据·分布式·spark
T06205147 分钟前
【数据集】地市城市等级城市类型划分城市经纬度数据
大数据
大大大大晴天22 分钟前
Flink技术实践-90%都会踩的状态坑
大数据·flink
lifallen1 小时前
Flink Agent 与 Checkpoint:主循环闭环与 Mailbox 事件驱动模型
java·大数据·人工智能·python·语言模型·flink
zxfBdd1 小时前
Spark Map算子异常处理方法
大数据·分布式·spark
白眼黑刺猬1 小时前
如何构建 Flink SQL 任务的血缘分析
大数据·面试·职场和发展·flink
lifallen1 小时前
Flink Agent:ActionTask 与可续跑状态机 (Coroutine/Continuation)
java·大数据·人工智能·语言模型·flink
白眼黑刺猬1 小时前
字节二面:订单状态回撤: 支付回调延迟导致的“先退单后下单”乱序,Flink如何利用Watermark和状态处理?
大数据·面试·职场和发展·flink
jinanwuhuaguo2 小时前
OpenClaw v2026.4.5 深度解读剖析:安全架构的终极硬化与生态治理的范式转型
大数据·人工智能·安全·安全架构·openclaw
拾光向日葵2 小时前
天府新区通用航空职业学院2026年全新开设宠物医疗技术专业
大数据·人工智能·物联网