上传文件到HDFS

1.创建文件夹

hdfs -dfs -mkdir -p /opt/mydoc

2.查看创建的文件夹

hdfs -dfs -ls /opt

注意改文件夹是创建在hdfs中的,不是本地,查看本地/opt,并没有该文件夹。

3.上传文件

hdfs dfs -put -f file:///usr/local/testspark.txt hdfs://master:9000/opt/mydoc

4.查看上传的文件

hdfs dfs -ls /opt/mydoc

也可以在浏览器中查看

5.遇到的问题

mkdir: '/opt/mydoc': Input/output error

应该是hdfs配置的问题,一开始在安装spark环境时没有配置hadoop相关文件,参考Spark Standalone模式部署-CSDN博客第三章,安装配置好hadoop并启动,再次执行上述命令时,成功。

相关推荐
yumgpkpm35 分钟前
Doris 并入CMP7(类Cloudera CDP 7.3.1 404华为鲲鹏ARM版)的方案和实施源代码
大数据·oracle·sqlite·sqoop·milvus·cloudera
yumgpkpm36 分钟前
Doris在CMP7(类Cloudera CDP 7 404版华为Kunpeng)启用 Kerberos部署Doris
大数据·hive·hadoop·python·oracle·flink·cloudera
YangYang9YangYan37 分钟前
高职大数据技术专业学习与发展指南
大数据·人工智能·学习·数据分析
汤姆yu1 小时前
基于大数据的天气分析与应用系统
大数据
悦光阴1 小时前
SQL Server 并发控制:Fabric Warehouse只支持快照隔离
大数据·运维·数据库·fabric
DolphinScheduler社区2 小时前
Apache DolphinScheduler 3.3.2 正式发布!性能与稳定性有重要更新
大数据·开源·apache·任务调度·海豚调度·发版
SeaTunnel2 小时前
Apache SeaTunnel 支持 Metalake 开发了!避免任务配置敏感信息暴露
大数据·开源·apache·个人开发·数据集成·seatunnel·看开源之夏
飞雁科技3 小时前
CRM客户管理系统定制开发:如何精准满足企业需求并提升效率?
大数据·运维·人工智能·devops·驻场开发
飞雁科技3 小时前
上位机软件定制开发技巧:如何打造专属工业解决方案?
大数据·人工智能·软件开发·devops·驻场开发
leafff1233 小时前
AI研究:大语言模型(LLMs)需要怎样的硬件算力
大数据·人工智能·语言模型