上传文件到HDFS

1.创建文件夹

hdfs -dfs -mkdir -p /opt/mydoc

2.查看创建的文件夹

hdfs -dfs -ls /opt

注意改文件夹是创建在hdfs中的,不是本地,查看本地/opt,并没有该文件夹。

3.上传文件

hdfs dfs -put -f file:///usr/local/testspark.txt hdfs://master:9000/opt/mydoc

4.查看上传的文件

hdfs dfs -ls /opt/mydoc

也可以在浏览器中查看

5.遇到的问题

mkdir: '/opt/mydoc': Input/output error

应该是hdfs配置的问题,一开始在安装spark环境时没有配置hadoop相关文件,参考Spark Standalone模式部署-CSDN博客第三章,安装配置好hadoop并启动,再次执行上述命令时,成功。

相关推荐
精益数智工坊10 小时前
元数据管理怎么落地?元数据管理实施路径有哪些?
大数据·人工智能·数据挖掘·数据可视化
huashengzsj10 小时前
渠道数据采集平台怎么选?2026年专业的渠道数据采集平台推荐
大数据
IT_Octopus10 小时前
从一个应用开发者的角度,搞懂大数据查询的完整链路
java·大数据·数据库
安全指北针10 小时前
数据安全产品 POC 验证怎么做?一套可落地的评估方法
大数据·安全
科技在线11 小时前
学大教育与开源中国达成战略合作,联合发布FDE人才培养课程框架
大数据·科技
优氙费控11 小时前
电子发票报销怎么管理?采集、验真、报销、归档全流程
大数据·人工智能
Leo.yuan12 小时前
2026 年内网数据分析 Agent 选型:私有化部署、信创适配与安全合规的评估框架
大数据
AgentMaster12 小时前
数据资产化落地难题:5款数据中台系统架构对比与实施记录
大数据·人工智能·算法
织码weavecodes12 小时前
离线学习与多端进度同步:在线心跳、Redis 缓冲与断点续考技术实现
大数据·自动化
IT毕设实战小研12 小时前
基于大数据的商场商铺数据分析与可视化的设计与实现
android·java·大数据·django·课程设计