Hadoop3:大数据生态体系

一、技术层面

通过下面这张图,我们可以大概确定,在大数据行业里,自己的学习路线。

个人认为,Hadoop集群一旦搭建完工,基本就是个把人运维的事情

主要岗位应该是集中在数据计算层,尤其是实时计算!

实时计算框架比较实用的是Spark StreamingFlink

数据传输层,又叫数据采集层,将不同的数据源中的各种类型数据,采集到Hadoop中进行存储

Flume组件,个人觉得与Logstash组件等效。

这里的定时任务,任务之间是可以相互依赖的

二、业务层面

个人偏好推荐功能

相关推荐
上海锟联科技4 小时前
DAS 系统 250MSPS 是否足够?——来自上海锟联科技的专业解析
分布式·科技·分布式光纤传感·光频域反射·das
那就学有所成吧(˵¯͒¯͒˵)8 小时前
大数据项目(一):Hadoop 云网盘管理系统开发实践
大数据·hadoop·分布式
KKKlucifer9 小时前
数据资产地图构建:文档安全可视化与主动防御
大数据·安全
2501_943695339 小时前
高职工业大数据应用专业,怎么找智能制造企业的数据岗?
大数据·信息可视化·制造
得赢科技10 小时前
智能菜谱研发公司推荐 适配中小型餐饮
大数据·运维·人工智能
Hello.Reader10 小时前
Flink 内存与资源调优从 Process Memory 到 Fine-Grained Resource Management
大数据·flink
有代理ip11 小时前
成功请求的密码:HTTP 2 开头响应码深度解析
java·大数据·python·算法·php
jl486382111 小时前
打造医疗设备的“可靠视窗”:医用控温仪专用屏从抗菌设计到EMC兼容的全链路解析
大数据·运维·人工智能·物联网·人机交互
刺客xs12 小时前
git 入门常用命令
大数据·git·elasticsearch
risc12345612 小时前
【Elasticsearch】LeafDocLookup 详述
大数据·elasticsearch·mybatis