Hadoop3:大数据生态体系

一、技术层面

通过下面这张图,我们可以大概确定,在大数据行业里,自己的学习路线。

个人认为,Hadoop集群一旦搭建完工,基本就是个把人运维的事情

主要岗位应该是集中在数据计算层,尤其是实时计算!

实时计算框架比较实用的是Spark StreamingFlink

数据传输层,又叫数据采集层,将不同的数据源中的各种类型数据,采集到Hadoop中进行存储

Flume组件,个人觉得与Logstash组件等效。

这里的定时任务,任务之间是可以相互依赖的

二、业务层面

个人偏好推荐功能

相关推荐
一只专注api接口开发的技术猿14 小时前
如何处理淘宝 API 的请求限流与数据缓存策略
java·大数据·开发语言·数据库·spring
程途拾光15814 小时前
中文界面跨职能泳道图制作教程 PC
大数据·论文阅读·人工智能·信息可视化·流程图
CORNERSTONE36514 小时前
智能制造为什么要实现EMS和MES的集成
大数据·人工智能·制造
yumgpkpm15 小时前
Cloudera CDH、CDP、Hadoop大数据+决策模型及其案例
大数据·hive·hadoop·分布式·spark·kafka·cloudera
sld16815 小时前
以S2B2C平台重构快消品生态:效率升级与价值共生
大数据·人工智能·重构
小五传输16 小时前
网闸怎么选?新型网闸凭安全高效,成企业优选方案
大数据·运维·安全
WLJT12312312316 小时前
电子元器件:智能时代的核心基石
大数据·人工智能·科技·安全·生活
IT大白16 小时前
4、Kafka原理-Consumer
分布式·kafka
rgeshfgreh16 小时前
Python正则与模式匹配实战技巧
大数据·人工智能
SamtecChina202316 小时前
Electronica现场演示 | 严苛环境下的56G互连
大数据·网络·人工智能·算法·计算机外设