安装并运行hadoop程序

1.在虚拟机上安装javaJDK

(1)把javaJDK文件上传到服务器

在opt文件夹下新建一个software文件夹,将jdk拖入software

(2)解压文件

在opt文件夹下新建一个module文件夹,确认上传成功之后,在software(进入命令:cd /opt/software)目录下,运行如下命令:

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

(3)配置环境变量

在如下路径新建文件写入代码并保存:

复制代码
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

source一下/etc/profile文件,让新的环境变量PATH生效:

source /etc/profile

在任意目录下输入java -version,看是否能出现jdk版本

2.在虚拟机上安装hadoop

(1)把hadoop文件上传到服务器

将hadoop拖入software

输入如下命令进入software:

cd /opt/software

(2)解压文件

在输入如下命令进行解压:
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

(3)配置环境变量

在my_env.sh输入如下代码并保存:

复制代码
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

输入如下代码查看hadoop是否安装成功

3.运行官方WordCount程序

在如下目录新建文件夹wcinput

在wcinput新建两个文件

写入如下内容:

输入命令进入:

cd /opt/module/hadoop-3.1.3/wcinput

输入命令运行:

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

查看计数:

相关推荐
呆呆小金人7 小时前
SQL入门:正则表达式-高效文本匹配全攻略
大数据·数据库·数据仓库·sql·数据库开发·etl·etl工程师
一棵树73517 小时前
Android OpenGL ES初窥
android·大数据·elasticsearch
西***63478 小时前
从信号处理到智能协同:高清混合矩阵全链路技术拆解,分布式系统十大趋势抢先看
网络·分布式·矩阵
白鲸开源8 小时前
(二)从分层架构到数据湖仓架构:数据仓库分层下的技术架构与举例
大数据·数据库·数据分析
阿维的博客日记8 小时前
从夯到拉的Redis和MySQL双写一致性解决方案排名
redis·分布式·mysql
赵谨言8 小时前
基于Python楼王争霸劳动竞赛数据处理分析
大数据·开发语言·经验分享·python
阿里云大数据AI技术9 小时前
云栖实录 | DataWorks 发布下一代 Data+AI 一体化平台,开启企业智能数据新时代
大数据·人工智能
hunteritself10 小时前
阿里千问上线记忆,Manus 1.5 全栈升级,ChatGPT 将推成人模式!| AI Weekly 10.13-10.19
大数据·人工智能·深度学习·机器学习·chatgpt
像是套了虚弱散11 小时前
DevEco Studio与Git完美搭配:鸿蒙开发的版本控制指南
大数据·elasticsearch·搜索引擎
AI企微观察11 小时前
高频低客单价产品怎么做私域?餐饮/生鲜/零售用社群运营提效37%的私域代运营方案
大数据·产品运营·零售