Hadoop3:大数据的基本介绍

一、什么是大数据

1、大数据的4v特点

Volume(大量)
Velocity(高速)
Variety(多样)
Value(低价值密度)

2、大数据部门间的工作岗位

第三部分,其实就是JavaWeb

二、什么是Hadoop

三、Hadoop的4大优势

1)高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元

素或存储出现故障,也不会导致数据的丢失。

2)高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。

3)高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。

4)高容错性:能够自动将失败的任务重新分配。

四、Hadoop架构简介

Hadoop3在架构组成上,和Hadoop2相同

1、Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。简单理解,就是用来存储文件的。

2、Yet Another Resource Negotiator 简称YARN(读作:雅恩) ,另一种资源协调者,是Hadoop的资源管理器。类似SpringBoot里面任务调度框架Quartz

3、MapReduce 将计算过程分为两个阶段:Map和Reduce

1)Map 阶段并行分发任务,进行数据处理

2)Reduce 阶段对Map结果进行汇总

相关推荐
小羊没烦恼!1 天前
微服务化的基石——持续集成
java·大数据·word·powerpoint·.net
一隅论数智1 天前
给AI一张“业务概念地图“:本体如何从哲学走向企业智能
大数据·人工智能·经验分享·笔记·学习·学习方法·政务
尧炎科技1 天前
防潮抗变形,就选纯品梅花全桉多层板
大数据
程序员大阳1 天前
副队长大数据教程(5)--集群情况下虚拟机网络配置
大数据·集群·nat·网路
自由能燃气设备1 天前
商用全预混低氮冷凝锅炉免费方案vs付费方案对比+选型避坑指南
大数据·数据库·人工智能
科创致远1 天前
科创致远 ESOP 系统核心效能与实战价值展示
大数据·数据库·人工智能·精益工程
嘉立创FPC苗工1 天前
FPC与机器人的双向赋能,解锁智能装备进化新势能
大数据·人工智能·制造·fpc·电路板
AI职业加油站1 天前
AI智能体应用工程师证书:政策红利下的职业新风口
大数据·运维·人工智能·学习·职场发展
龙亘川1 天前
一网统管AI平台民生业务实践:基于城市数字底座赋能公积金业务服务升级
大数据·安全·智慧城市·开源软件·数据可视化·政务
码流子1 天前
高速公路安全监测实践:碰撞监测预警+物联网底座,从感知到处置的闭环
大数据·人工智能·物联网·算法·架构