上传文件到HDFS

1.创建文件夹

hdfs -dfs -mkdir -p /opt/mydoc

2.查看创建的文件夹

hdfs -dfs -ls /opt

注意改文件夹是创建在hdfs中的,不是本地,查看本地/opt,并没有该文件夹。

3.上传文件

hdfs dfs -put -f file:///usr/local/testspark.txt hdfs://master:9000/opt/mydoc

4.查看上传的文件

hdfs dfs -ls /opt/mydoc

也可以在浏览器中查看

5.遇到的问题

mkdir: '/opt/mydoc': Input/output error

应该是hdfs配置的问题,一开始在安装spark环境时没有配置hadoop相关文件,参考Spark Standalone模式部署-CSDN博客第三章,安装配置好hadoop并启动,再次执行上述命令时,成功。

相关推荐
拓端研究室2 小时前
专题:2025全球消费趋势与中国市场洞察报告|附300+份报告PDF、原数据表汇总下载
大数据·信息可视化·pdf
超级迅猛龙2 小时前
保姆级Debezium抽取SQL Server同步kafka
数据库·hadoop·mysql·sqlserver·kafka·linq·cdc
青云交2 小时前
Java 大视界 -- Java 大数据分布式计算在基因测序数据分析与精准医疗中的应用(400)
java·hadoop·spark·分布式计算·基因测序·java 大数据·精准医疗
阿里云大数据AI技术3 小时前
MaxCompute聚簇优化推荐功能发布,单日节省2PB Shuffle、7000+CU!
大数据
Lx3527 小时前
Hadoop小文件处理难题:合并与优化的最佳实践
大数据·hadoop
激昂网络7 小时前
android kernel代码 common-android13-5.15 下载 编译
android·大数据·elasticsearch
绝缘体18 小时前
折扣大牌点餐api接口对接适合本地生活吗?
大数据·网络·搜索引擎·pygame
君不见,青丝成雪8 小时前
浅看架构理论(二)
大数据·架构
武子康8 小时前
大数据-74 Kafka 核心机制揭秘:副本同步、控制器选举与可靠性保障
大数据·后端·kafka