Hadoop Ubuntu18.04下安装&测试

引子

因为工作需要,接触下大数据,那么接下来一些学习笔记会陆续记录着,OK,让我们开始吧。

一、Hadoop介绍

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System)。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。

二、安装

1、下载

Hadoop

Apache Hadoop下载二进制版本

Javac

Java Downloads | Oracle

2、安装

Java

mkdir /urs/local/hadoop

tar -zxvf jdk-8u221-linux-x64.tar.gz

mkdir /usr/local/hadoop

tar -zxvf hadoop-3.4.1.tar.gz

3、配置

vi /usr/local/hadoop/hadoop-3.4.1/etc/hadoop/hadoop-env.sh

vi /etc/profile

source /etc/profile

验证:

hadoop version

三、测试

1、修改配置文件

vi /usr/local/hadoop/hadoop-3.4.1/etc/hadoop/core-site.xml

vi /usr/local/hadoop/hadoop-3.4.1/etc/hadoop/hdfs-site.xml

2、测试,启动

hadoop namenode -format

3、官方例子

cd /usr/local/hadoop/hadoop-3.4.1

mkdir input

cp ./etc/hadoop//*.xml input/

hadoop jar /usr/local/hadoop/hadoop-3.4.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.1.jar grep ./input/ ./output 'df[a-z.]+'

cat ./output/*

相关推荐
Vic23344 分钟前
Kafka简要介绍与快速入门示例
分布式·kafka
jinan8861 小时前
企业的移动终端安全怎么管理?
大数据·网络·安全·数据分析·开源软件
Lethehong2 小时前
崖山YashanDB:下一代国产分布式数据库的架构革新与行业实践
数据库·分布式·架构
叶辰 .2 小时前
ES使用聚合aggregations实战(2025.04.02更新)
大数据·elasticsearch·jenkins
zxsz_com_cn2 小时前
风电行业预测性维护解决方案:AIoT驱动下的风机健康管理革命
大数据·运维·人工智能
说私域11 小时前
基于开源AI大模型与S2B2C模式的线下服务型门店增长策略研究——以AI智能名片与小程序源码技术为核心
大数据·人工智能·小程序·开源
V_HY1476211 小时前
AI碰一碰发视频获客工具,系统开发逻辑详细解析
大数据·人工智能·新媒体运营·流量运营
遇码12 小时前
单机快速部署开源、免费的分布式任务调度系统——DolphinScheduler
大数据·运维·分布式·开源·定时任务·dolphin·scheduler
一个天蝎座 白勺 程序猿12 小时前
大数据(4.2)Hive核心操作实战指南:表创建、数据加载与分区/分桶设计深度解析
大数据·hive·hadoop
计算机毕设定制辅导-无忧学长13 小时前
TDengine 核心概念与时序数据模型深度解析(一)
大数据·时序数据库·tdengine