Hadoop Ubuntu18.04下安装&测试

引子

因为工作需要,接触下大数据,那么接下来一些学习笔记会陆续记录着,OK,让我们开始吧。

一、Hadoop介绍

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System)。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。

二、安装

1、下载

Hadoop

Apache Hadoop下载二进制版本

Javac

Java Downloads | Oracle

2、安装

Java

mkdir /urs/local/hadoop

tar -zxvf jdk-8u221-linux-x64.tar.gz

mkdir /usr/local/hadoop

tar -zxvf hadoop-3.4.1.tar.gz

3、配置

vi /usr/local/hadoop/hadoop-3.4.1/etc/hadoop/hadoop-env.sh

vi /etc/profile

source /etc/profile

验证:

hadoop version

三、测试

1、修改配置文件

vi /usr/local/hadoop/hadoop-3.4.1/etc/hadoop/core-site.xml

vi /usr/local/hadoop/hadoop-3.4.1/etc/hadoop/hdfs-site.xml

2、测试,启动

hadoop namenode -format

3、官方例子

cd /usr/local/hadoop/hadoop-3.4.1

mkdir input

cp ./etc/hadoop//*.xml input/

hadoop jar /usr/local/hadoop/hadoop-3.4.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.1.jar grep ./input/ ./output 'df[a-z.]+'

cat ./output/*

相关推荐
明达智控技术31 分钟前
MR30分布式I/O在面机装备中的应用
分布式·物联网·自动化
TDengine (老段)36 分钟前
TDengine 选择函数 First 用户手册
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
沧海一粟青草喂马2 小时前
抖音批量上传视频怎么弄?抖音矩阵账号管理的专业指南
大数据·人工智能·矩阵
理智的煎蛋2 小时前
CentOS/Ubuntu安装显卡驱动与GPU压力测试
大数据·人工智能·ubuntu·centos·gpu算力
赵孝正3 小时前
GitLab 分支管理与 Push 问题全解析
大数据·elasticsearch·gitlab
JAVA学习通3 小时前
【RabbitMQ】---RabbitMQ 工作流程和 web 界面介绍
分布式·rabbitmq
嘉禾望岗5033 小时前
Yarn介绍与HA搭建
大数据·hadoop·yarn
小麦矩阵系统永久免费3 小时前
小麦矩阵系统:让短视频分发实现抖音快手小红书全覆盖
大数据·人工智能·矩阵
IT研究室4 小时前
大数据毕业设计选题推荐-基于大数据的国家药品采集药品数据可视化分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·信息可视化·spark·毕业设计·数据可视化·bigdata
安卓开发者4 小时前
鸿蒙NEXT应用数据持久化全面解析:从用户首选项到分布式数据库
数据库·分布式·harmonyos