上传文件到HDFS

1.创建文件夹

hdfs -dfs -mkdir -p /opt/mydoc

2.查看创建的文件夹

hdfs -dfs -ls /opt

注意改文件夹是创建在hdfs中的,不是本地,查看本地/opt,并没有该文件夹。

3.上传文件

hdfs dfs -put -f file:///usr/local/testspark.txt hdfs://master:9000/opt/mydoc

4.查看上传的文件

hdfs dfs -ls /opt/mydoc

也可以在浏览器中查看

5.遇到的问题

mkdir: '/opt/mydoc': Input/output error

应该是hdfs配置的问题,一开始在安装spark环境时没有配置hadoop相关文件,参考Spark Standalone模式部署-CSDN博客第三章,安装配置好hadoop并启动,再次执行上述命令时,成功。

相关推荐
杭州杭州杭州1 小时前
ubuntu 18.04安装tomcat,zookeeper,kafka,hadoop,MySQL,maxwell
hadoop·mysql·ubuntu·zookeeper·kafka·tomcat
白鲸开源2 小时前
做到真正0丢失、0重复:Apache SeaTunnel 实现万亿级数据一致性全解密
大数据
OpenVINO生态社区3 小时前
【机器人创新创业成功的三个关键元素及作用?】
大数据·人工智能·机器人
宝哥大数据3 小时前
数据中台、数据湖和数据仓库 区别
大数据·数据仓库·数据湖
龙石数据3 小时前
数据中台(大数据平台)之数据仓库建设
大数据·数据仓库·spark·数据中台
絮落锦乡4 小时前
ES DSL 常用修改语句
大数据·elasticsearch·搜索引擎
-曾牛4 小时前
Git完全指南:从入门到精通版本控制 ------- Git 查看提交历史(8)
大数据·git·学习·elasticsearch·个人开发
·云扬·4 小时前
【技术派后端篇】ElasticSearch 实战指南:环境搭建、API 操作与集成实践
大数据·elasticsearch·搜索引擎
StevenLdh5 小时前
Elasticsearch使用及常见的问题
大数据·elasticsearch·搜索引擎
TDengine (老段)5 小时前
TDengine 语言连接器(R语言)
大数据·数据库·物联网·r语言·时序数据库·tdengine·iotdb