Hadoop Ubuntu18.04下安装&测试

引子

因为工作需要,接触下大数据,那么接下来一些学习笔记会陆续记录着,OK,让我们开始吧。

一、Hadoop介绍

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System)。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。

二、安装

1、下载

Hadoop

Apache Hadoop下载二进制版本

Javac

Java Downloads | Oracle

2、安装

Java

mkdir /urs/local/hadoop

tar -zxvf jdk-8u221-linux-x64.tar.gz

mkdir /usr/local/hadoop

tar -zxvf hadoop-3.4.1.tar.gz

3、配置

vi /usr/local/hadoop/hadoop-3.4.1/etc/hadoop/hadoop-env.sh

vi /etc/profile

source /etc/profile

验证:

hadoop version

三、测试

1、修改配置文件

vi /usr/local/hadoop/hadoop-3.4.1/etc/hadoop/core-site.xml

vi /usr/local/hadoop/hadoop-3.4.1/etc/hadoop/hdfs-site.xml

2、测试,启动

hadoop namenode -format

3、官方例子

cd /usr/local/hadoop/hadoop-3.4.1

mkdir input

cp ./etc/hadoop//*.xml input/

hadoop jar /usr/local/hadoop/hadoop-3.4.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.1.jar grep ./input/ ./output 'dfa-z.+'

cat ./output/*

相关推荐
GrowingIO技术社区10 小时前
用户行为分析怎么做?从业务目标到改进验证的完整流程
大数据·数据挖掘·数据分析
瑞克-桑切斯13 小时前
docker Harbor 单机部署手册
大数据·运维·elasticsearch·docker·容器
方方洛16 小时前
ray教程-28-附录G-CICD与Slurm与云上调度
人工智能·分布式·机器学习
演艺大赏16 小时前
NiFi 起不来、登不上、节点被挤掉:一份按日志定位的排错清单
大数据
freejackman16 小时前
【实战三】撕开脱敏盲区:深度解析 CASE WHEN 与窗口函数血缘
大数据·数据库·sql
空奈qwq19 小时前
【Kafka 从入门到实战】从手写一个队列到生产级消息中间件:架构、分区、消费组、零拷贝全解析
分布式·架构·kafka
wafrdggh1 天前
2026电商快递批量查询怎么用?固乔助手模板设置评测
大数据·数据库·小程序
大大大大晴天1 天前
OLTP、OLAP、数据湖、数据集市、湖仓一体到底是什么关系?
大数据
正在走向自律1 天前
AI Agent 落地这一年:从“能跑起来”到“敢放出去”
大数据·人工智能·ai agent·智能体·mcp·a2a