Hadoop的概述

1、Hadoop的发展史:

Google首先发布三篇文章:GFS(Google File System)、Mapreduce(计算引擎)、Bigtable

,随着时间的推移:

hadoop1.0与2.0 的区别是在2.0的版本中出现了yarn,主要是负责资源的调度,hadoop2.0与3.0的主要的区别就是:3.0版本开始支持GPU

2、什么是Hadoop?

Hadoop是一个基于海量数据的分布式存储和分布式计算的平台。

3、Hadoop的三大组件:
1、Hdfs:

是一种分布式文件系统,主要的作用是存储数据。

2、Yarn:

作业调度和集群资源管理的框架,主要的作用是负责资源的分配。

3、MapReduce:

基于YARN的系统,用于并行处理大型数据集,是大数据中的计算框架。

4、名词科普:
服务器(节点):

企业里任务和程序基本都是运行在服务器上。服务器内存和cpu以及硬盘等资源和性能远高于pc机,可以将其理解为一台台的计算机。

机架:

一个公司里,会有很多服务器。尤其是hadoop集群大到上千台服务器搭建成集群 负责存放服务器的架子。

相关推荐
菜鸟小九8 分钟前
redis实战(缓存)
数据库·redis·缓存
lionliu051911 分钟前
数据库的乐观锁和悲观锁的区别
java·数据库·oracle
又是努力搬砖的一年16 分钟前
elasticsearch修改字段类型
android·大数据·elasticsearch
晴天¥16 分钟前
Oracle中的表空间
运维·数据库·oracle
小高求学之路19 分钟前
Neo4j - 为什么需要图数据库
数据库·neo4j
rocksun32 分钟前
Rust 异步编程:Futures 与 Tokio 深度解析
数据库·rust
曹牧32 分钟前
Oracle:前五个字符
数据库·oracle
Coder_Oldou34 分钟前
【经验分享】MySQL线上使用经验
数据库·经验分享·mysql
六行神算API-天璇39 分钟前
数字人“个性化”背后的玄机:大模型微调与RAG实战解析
大数据·人工智能
在职工程博士1 小时前
在职博士-南京邮电大学申请考核制博士招生实施细则(信息通信、信息管理工程方向)
大数据·数据库·嵌入式硬件·物联网·硬件工程·数据库开发