Spark,HDFS客户端操作

hadoop客户端环境准备

找到资料包路径下的Windows依赖文件夹,拷贝hadoop-3.1.0到非中文路径(比如d:\hadoop-3.1.0)

++++打开环境变量

++++在下方系统变量中新建HADOOP_HOME环境变量,值就是保存hadoop的目录。

效果如下:

++++配置Path环境变量。

++++新建一项

++++打开电脑终端验证Hadoop环境变量是否正常

Maven的配置同上

相关推荐
Python数据分析与机器学习5 分钟前
【python实战】二手房房价数据分析与预测
大数据·开发语言·python·数据挖掘·数据分析·scikit-learn·ipython
wuli玉shell7 分钟前
spark shuffle的分区支持动态调整,而hive不支持
大数据·hive·spark
Giser探索家1 小时前
「卫星百科」“绿色守卫”高分六号
大数据·人工智能·数码相机·算法·分类·云计算
StarRocks_labs1 小时前
StarRocks x Iceberg:云原生湖仓分析技术揭秘与最佳实践
大数据·starrocks·云原生·iceberg·物化视图
WSSWWWSSW2 小时前
更换Homebrew 源
大数据·elasticsearch·搜索引擎
qyresearch_2 小时前
商用飞机电池市场:现状、挑战与未来展望
大数据·人工智能
lifallen2 小时前
Apache Paimon:存储结构、写入及其源码分析
java·大数据·数据仓库·sql·flink·database
时序数据说3 小时前
时序数据库IoTDB基于云原生的创新与实践
大数据·数据库·分布式·云原生·时序数据库·iotdb
人类群星闪耀时3 小时前
AI和大数据:是工具,还是操控人心的“隐形之手”?
大数据·人工智能
程序员阿龙4 小时前
基于大数据的个性化购房推荐系统设计与实现(源码+定制+开发)面向房产电商的智能购房推荐与数据可视化系统 基于Spark与Hive的房源数据挖掘与推荐系统设计
大数据·数据挖掘·spark·用户画像·hadoop生态·spark mllib·房源数据爬虫