Apache Hadoop-学习笔记1

学习视频:https://www.bilibili.com/video/BV1CU4y1N7Sh?spm_id_from=333.788.player.switch&vd_source=f8edb730040256369513da6f2506c493&p=23

02-Apache Hadoop介绍、发展简史、现状

1、Hadoop介绍

  • 侠义上 Hadoop 指的是 Apache 软件基金会的一款开源软件

用 java语言实现,开源,允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理

  • Hadoop 核心组件

Hadoop HDFS( 分布式文件存储系统 ):解决海量数据存储

Hadoop YARN(集群资源管理和任务调度框架):解决资源任务调度

Hadoop MapReduce (分布式计算框架):解决海量数据计算

  • 官网

http://hadoop.apache.org/

  • 广义上 Hadoop 指的是围绕 Hadoop 打造的大数据生态圈

2、Hadoop发展简史

  • **Hadoop之父:**Doug Cutting
  • Hadoop起源于Apache Lucene子项目:Nutch

Nutch 的设计目标是构建一个大型的全网搜索引擎。

遇到瓶颈:如何解决数十亿网页的存储和索引问题

3、Hadoop现状

03-Apache Hadoop特性优点、国内外应用

1、Hadoop特性优点

2、Hadoop国内应用

3、国外应用

04-Apache Hadoop发行版本、架构变迁

1、Apache Hadoop发行版本

2、Hadoop架构变迁(1.0-2.0变迁)

3、Hadoop架构变迁(3.0新版本)

05-Apache Hadoop安装部署-集群组成介绍

1、Hadoop集群整体概述

HDFS数据存储、YARN资源管理调度、MapReduce进行程序计算

2、Hadoop集群简介

06-Apache Hadoop安装部署-服务器基础环境设置

1、Hadoop源码编译

  • 如果编译

编译需要的工具如下:

步骤一:集群角色规划

步骤二:服务器基础环境准备

  • 主机名(3台机器)

vim /etc/hostname

  • Hosts映射(3台机器)

vim /etc/hosts

相关推荐
kyrie_sakura9 小时前
python学习笔记14 -- FastAPI
笔记·python·学习·fastapi
来两个炸鸡腿9 小时前
【Datawhale2609】算子开发实战 task01-熟悉沐曦GPU
人工智能·学习·大模型
传奇开心果编程9 小时前
【Xilem 0.4 基础语法学与练】第11课(深入篇):为什么其他 Rust 框架不是一切皆设计图
学习·rust·前端框架
爱吃苹果的日记本9 小时前
JAVA十三(练习课)
java·学习
平凡シンプル10 小时前
TCP UDP 网络通信插件 SL-Uniplugin-Tcp-Udp
网络·学习·uniapp·记录
RisunJan10 小时前
【地球脉动】地球日报 · 2026-09-14(过去24小时,非头条视角)
学习
xx~t10 小时前
嵌入式——单片机2
嵌入式硬件·学习·51单片机·串口·蜂鸣器
sunoo-22911 小时前
【51单片机实战】温控下位机完整实现:DS18B20采集 + 自定义二进制串口协议 + PWM声光告
笔记·学习·51单片机·串口
每天题库11 小时前
客运从业资格证备考:题库里的高频数字题,单独整理不丢分
学习·考试·题库·考证
sunshine22 girl12 小时前
Java学习 java原理
java·开发语言·学习