安装并运行hadoop程序

1.在虚拟机上安装javaJDK

(1)把javaJDK文件上传到服务器

在opt文件夹下新建一个software文件夹,将jdk拖入software

(2)解压文件

在opt文件夹下新建一个module文件夹,确认上传成功之后,在software(进入命令:cd /opt/software)目录下,运行如下命令:

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

(3)配置环境变量

在如下路径新建文件写入代码并保存:

复制代码
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

source一下/etc/profile文件,让新的环境变量PATH生效:

source /etc/profile

在任意目录下输入java -version,看是否能出现jdk版本

2.在虚拟机上安装hadoop

(1)把hadoop文件上传到服务器

将hadoop拖入software

输入如下命令进入software:

cd /opt/software

(2)解压文件

在输入如下命令进行解压:
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

(3)配置环境变量

在my_env.sh输入如下代码并保存:

复制代码
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

输入如下代码查看hadoop是否安装成功

3.运行官方WordCount程序

在如下目录新建文件夹wcinput

在wcinput新建两个文件

写入如下内容:

输入命令进入:

cd /opt/module/hadoop-3.1.3/wcinput

输入命令运行:

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

查看计数:

相关推荐
java叶新东老师37 分钟前
git 提交时排除一个或多个文件
大数据·git·elasticsearch
阿里云大数据AI技术1 小时前
Hologres V3.1版本发布,Serverless型实例从零开始构建OLAP系统
大数据·人工智能·机器学习
优测云服务平台2 小时前
优测推出HarmonyOS全场景测试服务,解锁分布式场景应用卓越品质!
分布式·harmonyos
秋难降3 小时前
一篇文章带你了解Pandassssssssssssssss
大数据·python·pandas
宇宙机长3 小时前
【kafka】消息队列
分布式·kafka
数据皮皮侠4 小时前
中国汽车能源消耗量(2010-2024年)
大数据·数据库·人工智能·物联网·金融·汽车·能源
TDengine (老段)4 小时前
TDengine 转化函数 TO_TIMESTAMP 用户手册
java·大数据·数据库·物联网·时序数据库·tdengine·涛思数据
java叶新东老师4 小时前
七、搭建springCloudAlibaba2021.1版本分布式微服务-skywalking9.0链路追踪
分布式·微服务·架构
LiRuiJie4 小时前
基于Hadoop3.3.4+Flink1.17.0+FlinkCDC3.0.0+Iceberg1.5.0整合,实现数仓实时同步mysql数据
大数据·hadoop·flink·iceberg·flinkcdc
cici158744 小时前
Docker搭建Hadoop集群
hadoop·docker·eureka