Hadoop3:大数据的基本介绍

一、什么是大数据

1、大数据的4v特点

Volume(大量)
Velocity(高速)
Variety(多样)
Value(低价值密度)

2、大数据部门间的工作岗位

第三部分,其实就是JavaWeb

二、什么是Hadoop

三、Hadoop的4大优势

1)高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元

素或存储出现故障,也不会导致数据的丢失。

2)高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。

3)高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。

4)高容错性:能够自动将失败的任务重新分配。

四、Hadoop架构简介

Hadoop3在架构组成上,和Hadoop2相同

1、Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。简单理解,就是用来存储文件的。

2、Yet Another Resource Negotiator 简称YARN(读作:雅恩) ,另一种资源协调者,是Hadoop的资源管理器。类似SpringBoot里面任务调度框架Quartz

3、MapReduce 将计算过程分为两个阶段:Map和Reduce

1)Map 阶段并行分发任务,进行数据处理

2)Reduce 阶段对Map结果进行汇总

相关推荐
你觉得20515 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
啊喜拔牙15 小时前
1. hadoop 集群的常用命令
java·大数据·开发语言·python·scala
别惊鹊15 小时前
MapReduce工作原理
大数据·mapreduce
8K超高清15 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
2401_8712905817 小时前
MapReduce 的工作原理
大数据·mapreduce
SelectDB技术团队17 小时前
Apache Doris 2025 Roadmap:构建 GenAI 时代实时高效统一的数据底座
大数据·数据库·数据仓库·人工智能·ai·数据分析·湖仓一体
你觉得20518 小时前
浙江大学朱霖潮研究员:《人工智能重塑科学与工程研究》以蛋白质结构预测为例|附PPT下载方法
大数据·人工智能·机器学习·ai·云计算·aigc·powerpoint
益莱储中国18 小时前
世界通信大会、嵌入式展及慕尼黑上海光博会亮点回顾
大数据
Loving_enjoy19 小时前
基于Hadoop的明星社交媒体影响力数据挖掘平台:设计与实现
大数据·hadoop·数据挖掘
浮尘笔记19 小时前
go-zero使用elasticsearch踩坑记:时间存储和展示问题
大数据·elasticsearch·golang·go