Hadoop3:大数据生态体系

一、技术层面

通过下面这张图,我们可以大概确定,在大数据行业里,自己的学习路线。

个人认为,Hadoop集群一旦搭建完工,基本就是个把人运维的事情

主要岗位应该是集中在数据计算层,尤其是实时计算!

实时计算框架比较实用的是Spark StreamingFlink

数据传输层,又叫数据采集层,将不同的数据源中的各种类型数据,采集到Hadoop中进行存储

Flume组件,个人觉得与Logstash组件等效。

这里的定时任务,任务之间是可以相互依赖的

二、业务层面

个人偏好推荐功能

相关推荐
Little Tomato几秒前
深入浅出高并发:从 JVM 锁竞争到分布式事务的性能博弈
jvm·分布式
Elastic 中国社区官方博客14 分钟前
Elasticsearch Vector DiskBBQ 过滤搜索现已提升 3 – 5 倍速度
大数据·人工智能·elasticsearch·搜索引擎·全文检索
1892280486123 分钟前
NV232固态闪存MT29F32T08GWLBHD6-TES:B
大数据·服务器·人工智能·科技·缓存
搭贝32 分钟前
中建八局装饰 | AI 隐患识别+电子围栏+红黄牌管控 ,重塑质量巡检合规体系
大数据·人工智能·低代码·数字化
正在走向自律34 分钟前
时序数据库技术内幕:从大数据存储模型看工业级时序数据库的设计与落地
大数据·数据库·时序数据库·工业物联网存储·tsfile 存储引擎·大数据时序技术·物联网数据治理
zshs00035 分钟前
从 Raft 到 MySQL:我是怎么推导出半同步复制原理的
数据库·分布式·mysql
gnhpc139 分钟前
飞腾多元化主板持续推进科技强国建设
大数据·科技
189228048611 小时前
NV231美光闪存MT29F32T08GWLBHD6-MES:B
大数据·服务器·人工智能·科技·缓存
多年小白1 小时前
Snowflake (SNOW) 可比公司分析报告
大数据·人工智能·科技·深度学习·ai
凯瑟琳.奥古斯特1 小时前
页面置换算法详解与对比
开发语言·分布式·职场和发展