Apache Hadoop-学习笔记1

学习视频:https://www.bilibili.com/video/BV1CU4y1N7Sh?spm_id_from=333.788.player.switch&vd_source=f8edb730040256369513da6f2506c493&p=23

02-Apache Hadoop介绍、发展简史、现状

1、Hadoop介绍

  • 侠义上 Hadoop 指的是 Apache 软件基金会的一款开源软件

用 java语言实现,开源,允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理

  • Hadoop 核心组件

Hadoop HDFS( 分布式文件存储系统 ):解决海量数据存储

Hadoop YARN(集群资源管理和任务调度框架):解决资源任务调度

Hadoop MapReduce (分布式计算框架):解决海量数据计算

  • 官网

http://hadoop.apache.org/

  • 广义上 Hadoop 指的是围绕 Hadoop 打造的大数据生态圈

2、Hadoop发展简史

  • **Hadoop之父:**Doug Cutting
  • Hadoop起源于Apache Lucene子项目:Nutch

Nutch 的设计目标是构建一个大型的全网搜索引擎。

遇到瓶颈:如何解决数十亿网页的存储和索引问题

3、Hadoop现状

03-Apache Hadoop特性优点、国内外应用

1、Hadoop特性优点

2、Hadoop国内应用

3、国外应用

04-Apache Hadoop发行版本、架构变迁

1、Apache Hadoop发行版本

2、Hadoop架构变迁(1.0-2.0变迁)

3、Hadoop架构变迁(3.0新版本)

05-Apache Hadoop安装部署-集群组成介绍

1、Hadoop集群整体概述

HDFS数据存储、YARN资源管理调度、MapReduce进行程序计算

2、Hadoop集群简介

06-Apache Hadoop安装部署-服务器基础环境设置

1、Hadoop源码编译

  • 如果编译

编译需要的工具如下:

步骤一:集群角色规划

步骤二:服务器基础环境准备

  • 主机名(3台机器)

vim /etc/hostname

  • Hosts映射(3台机器)

vim /etc/hosts

相关推荐
西岸行者4 天前
学习笔记:SKILLS 能帮助更好的vibe coding
笔记·学习
B站计算机毕业设计超人4 天前
计算机毕业设计Django+Vue.js高考推荐系统 高考可视化 大数据毕业设计(源码+LW文档+PPT+详细讲解)
大数据·vue.js·hadoop·django·毕业设计·课程设计·推荐算法
B站计算机毕业设计超人4 天前
计算机毕业设计Django+Vue.js音乐推荐系统 音乐可视化 大数据毕业设计 (源码+文档+PPT+讲解)
大数据·vue.js·hadoop·python·spark·django·课程设计
十月南城4 天前
数据湖技术对比——Iceberg、Hudi、Delta的表格格式与维护策略
大数据·数据库·数据仓库·hive·hadoop·spark
悠哉悠哉愿意4 天前
【单片机学习笔记】串口、超声波、NE555的同时使用
笔记·单片机·学习
别催小唐敲代码4 天前
嵌入式学习路线
学习
王九思4 天前
Hive Thrift Server 介绍
数据仓库·hive·hadoop
毛小茛4 天前
计算机系统概论——校验码
学习
babe小鑫4 天前
大专经济信息管理专业学习数据分析的必要性
学习·数据挖掘·数据分析
winfreedoms4 天前
ROS2知识大白话
笔记·学习·ros2