Hadoop的概述

1、Hadoop的发展史:

Google首先发布三篇文章:GFS(Google File System)、Mapreduce(计算引擎)、Bigtable

,随着时间的推移:

hadoop1.0与2.0 的区别是在2.0的版本中出现了yarn,主要是负责资源的调度,hadoop2.0与3.0的主要的区别就是:3.0版本开始支持GPU

2、什么是Hadoop?

Hadoop是一个基于海量数据的分布式存储和分布式计算的平台。

3、Hadoop的三大组件:
1、Hdfs:

是一种分布式文件系统,主要的作用是存储数据。

2、Yarn:

作业调度和集群资源管理的框架,主要的作用是负责资源的分配。

3、MapReduce:

基于YARN的系统,用于并行处理大型数据集,是大数据中的计算框架。

4、名词科普:
服务器(节点):

企业里任务和程序基本都是运行在服务器上。服务器内存和cpu以及硬盘等资源和性能远高于pc机,可以将其理解为一台台的计算机。

机架:

一个公司里,会有很多服务器。尤其是hadoop集群大到上千台服务器搭建成集群 负责存放服务器的架子。

相关推荐
DBA小马哥3 小时前
时序数据库迁移替换与时序数据库分片
数据库·时序数据库
DBA小马哥3 小时前
时序数据库迁移方案在物联网设备监测中的实践与性能突破
数据库·物联网·时序数据库
ID_180079054733 小时前
小红书笔记详情API接口基础解析:数据结构与调用方式
数据结构·数据库·笔记
九河云8 小时前
海上风电“AI偏航对风”:把发电量提升2.1%,单台年增30万度
大数据·人工智能·数字化转型
ruleslol8 小时前
MySQL的段、区、页、行 详解
数据库·mysql
一心赚狗粮的宇叔9 小时前
中级软件开发工程师2025年度总结
java·大数据·oracle·c#
盛世宏博北京9 小时前
云边协同・跨系统联动:智慧档案馆建设与功能落地
大数据·人工智能
while(1){yan}9 小时前
MyBatis Generator
数据库·spring boot·java-ee·mybatis
それども9 小时前
MySQL affectedRows 计算逻辑
数据库·mysql
是小章啊9 小时前
MySQL 之SQL 执行规则及索引详解
数据库·sql·mysql