Hadoop Ubuntu18.04下安装&测试

引子

因为工作需要,接触下大数据,那么接下来一些学习笔记会陆续记录着,OK,让我们开始吧。

一、Hadoop介绍

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System)。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。

二、安装

1、下载

Hadoop

Apache Hadoop下载二进制版本

Javac

Java Downloads | Oracle

2、安装

Java

mkdir /urs/local/hadoop

tar -zxvf jdk-8u221-linux-x64.tar.gz

mkdir /usr/local/hadoop

tar -zxvf hadoop-3.4.1.tar.gz

3、配置

vi /usr/local/hadoop/hadoop-3.4.1/etc/hadoop/hadoop-env.sh

vi /etc/profile

source /etc/profile

验证:

hadoop version

三、测试

1、修改配置文件

vi /usr/local/hadoop/hadoop-3.4.1/etc/hadoop/core-site.xml

vi /usr/local/hadoop/hadoop-3.4.1/etc/hadoop/hdfs-site.xml

2、测试,启动

hadoop namenode -format

3、官方例子

cd /usr/local/hadoop/hadoop-3.4.1

mkdir input

cp ./etc/hadoop//*.xml input/

hadoop jar /usr/local/hadoop/hadoop-3.4.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.1.jar grep ./input/ ./output 'dfa-z.+'

cat ./output/*

相关推荐
墨林陌19 小时前
AI 热点日报(2026-11-16):黄仁勋或重返英伟达,华为发具身世界模型,ChatGPT Wallet打通支付
大数据
starzy199020 小时前
Structured Streaming 结构化流概述:把流数据当作一张无限增长的表
大数据·spark
wuyk55520 小时前
Spider-第12讲-asyncio异步并发爬取
大数据·爬虫·elasticsearch·搜索引擎
筑梦之人20 小时前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
筑梦之人21 小时前
Elasticsearch 9.x 从入门到精通(4/7):聚合分析与文本分析
大数据·elasticsearch·jenkins
数字新视界1 天前
信创动环监控在机房环境管理中的智能化应用与实践分析
大数据·人工智能·物联网·信息与通信·动环监控系统
大大大大晴天1 天前
数仓分层架构设计:ODS、DWD、DWS、ADS、DIM 如何各司其职
大数据
东鸿电子Eastron2 天前
工厂节能降本落地指南:从精准能源计量搭建数字化管理基础
大数据·人工智能·能源·智能电表·能耗管理
吾AI科技2 天前
基于Tez引擎的 Hive SQL 性能优化 —— 为什么脚本运行越来越慢
大数据·hive·性能优化·tez
kiwixing2 天前
GaussDB|集中式还是分布式?三把尺子选型
分布式·gaussdb