Hadoop3:大数据生态体系

一、技术层面

通过下面这张图,我们可以大概确定,在大数据行业里,自己的学习路线。

个人认为,Hadoop集群一旦搭建完工,基本就是个把人运维的事情

主要岗位应该是集中在数据计算层,尤其是实时计算!

实时计算框架比较实用的是Spark StreamingFlink

数据传输层,又叫数据采集层,将不同的数据源中的各种类型数据,采集到Hadoop中进行存储

Flume组件,个人觉得与Logstash组件等效。

这里的定时任务,任务之间是可以相互依赖的

二、业务层面

个人偏好推荐功能

相关推荐
一叶飘零_sweeeet3 小时前
从手写 Redis 分布式锁到精通 Redisson:分布式系统的并发控制终极指南
redis·分布式·redisson
深空数字孪生4 小时前
储能调峰新实践:智慧能源平台如何保障风电消纳与电网稳定?
大数据·人工智能·物联网
百胜软件@百胜软件4 小时前
胜券POS:打造智能移动终端,让零售智慧运营触手可及
大数据
摩羯座-185690305945 小时前
Python数据可视化基础:使用Matplotlib绘制图表
大数据·python·信息可视化·matplotlib
在未来等你6 小时前
Kafka面试精讲 Day 13:故障检测与自动恢复
大数据·分布式·面试·kafka·消息队列
jiedaodezhuti6 小时前
Flink通讯超时问题深度解析:Akka AskTimeoutException解决方案
大数据·flink
庄小焱6 小时前
大数据存储域——Kafka实战经验总结
大数据·kafka·大数据存储域
cui_win6 小时前
基于Golang + vue3 开发的 kafka 多集群管理
分布式·kafka
iiYcyk6 小时前
kafka特性和原理
分布式·kafka
zskj_qcxjqr7 小时前
告别传统繁琐!七彩喜艾灸机器人:一键开启智能养生新时代
大数据·人工智能·科技·机器人