如何在本地Windows运行hadoop

我们在本地运行hadoop的时候,发现了报错:

两种情况:

1、没有配置winutils

这种情况只能从本地上传文件到hdfs,但是不能从hdfs下载文件到windows本地,也无法在本地运行MapReduce的过程。如果连上传的时候都报这种错误,请检查是否在Linux中运行了hadoop集群。

2、下载了winutils,但没有在Path中配置winutils变量

下载了winutils,也配置了winutils的环境变量,但是没有将环境变量加到Path中,所以报错,没有配置到Path中,就无法在本地运行hadoop的mapreduce等一些逻辑处理的代码

分析报错原因:

没有下载winutils,或者已经下载并且配置了HADOOP_HOME变量,那么就是因为没有在Windows系统变量中的Path里面加上hadoop的环境,如果只是从hdfs上下载文件到本地windows上,就只需要配置HADOOP_HOME这个变量,如果要在本地Windows上运行hadoop,还要将这个变量的bin目录加到Path中。 <注意:配置好环境变量,要重启idea,让其生效>

解决如下:

附:MapReduce实现代码:

一、学会args的用法

编写MapReduce的代码,处理一个hdfs上的一个文本内容,统计hadoop的数量和java的数量

文本内容是:

hadoop,java,hadoop,hadoop

java,java,hadoop

hadoop,hadoop,java

这里只演示在本地windows上运行,因为我们已经配置了winutils的环境,可以运行hadoop,代码中的main方法里有String args这个数组,可以被用来接收输入输出的路径,但是启动Run,是无法进行一个输入路径的操作,所以我们要找到args输入的入口,好把地址传入进去

1、填写输入和输出的路径

因为本地运行(Run),用args接收变量,是无法直接填写输入/出路径,所以要在运行前,去工作目录填写路径,这样就能指定路径输出了

相关推荐
IT新视界8 小时前
大数据开发工具-Transwarp Data Studio
大数据
donoot8 小时前
Linux系统下图书馆级电子书全自动标准化分类整理完整实施方案
大数据·linux·运维·电子书管理
Elastic 中国社区官方博客9 小时前
如何比较两个 Elasticsearch 索引并找出缺失的文档
大数据·运维·数据库·elasticsearch·搜索引擎
xixixi777779 小时前
三大 AI 安全里程碑:Akamai 高危风险预警、智能体水印强制落地、PQC 量子安全全产业链统一
大数据·人工智能·安全·ai·大模型·智能体·政策
imbackneverdie10 小时前
AI4S不止于分子药物:以MedPeer为代表的科研基建打开产业新增量
大数据·人工智能·算法·aigc·科研·学术·ai 4s
ApacheSeaTunnel12 小时前
为什么 Data Ingestion 还没有被 Fivetran/Airbyte 完全解决?
大数据·开源·数据集成·seatunnel·技术分享·数据同步·airbyte·fivetran
启雀AI12 小时前
科技企业如何沉淀研发知识,减少重复开发和经验流失?
大数据·科技·软件需求·知识库·知识管理
大大大大晴天13 小时前
Hudi技术内幕:Schema Evolution原理与实践
大数据
kiros_wang13 小时前
ExploreYC 新手快速入门与实战指南
大数据·人工智能·物联网
Mark08020313 小时前
人物设定生成器:小说创作中角色塑造的AI工具选择
大数据·人工智能