说说Lambda架构

Lambda架构由Storm的作者Nathan Marz提出,其设计目的在于提供一个能满足大数据库系统关键特性的架构,包括高容错、低延迟、可扩展等。其整合离线批处理和实时流处理,融合不可变形、读写分离和复杂隔离性等原则,集成Hadoop、Kafka、Spark、Storm、Flink等主流大数据组件,达到强鲁性、低延迟的大数据架构思想。

Lambda架构可以分为三层,即批处理层、加速层和服务层,

批处理层(Batch Layer):主要是存储数据集和生成Batch View。Batch Layer可以很好地处理离线数据,处理地是全量数据,数据处理时延高。

加速层(Speed Layer):存储实时视图并处理传入的数据流,以便更新这些视图。Speed Layer处理地是最近地增量地数据流。

服务层(Serving Layer):用于响应用户的查询请求,合并 Batch View 和 Real-time View 中的结果数据集到最终的数据集。

相关推荐
Nile3 小时前
解密openclaw底层pi-mono架构系列一:3.pi-tui
架构
幂律智能3 小时前
Agent × 流程引擎融合架构:从静态流程到智能流程编排
人工智能·架构·agent
Python小老六3 小时前
冯诺依曼架构 vs 哈佛架构 对比
stm32·单片机·嵌入式硬件·架构
xiaodaidai丶4 小时前
解决Sa-Token在 Spring MVC + WebFlux 混合架构中流式接口报错SaTokenContext 上下文尚未初始化的问题
spring·架构·mvc
wuchen10044 小时前
网狐的定时器引擎架构理解
架构·定时器·网狐
@PHARAOH4 小时前
HOW - Moleculer 微服务构建分布式服务系统
微服务·云原生·架构
KKKlucifer4 小时前
零信任架构下的安全服务:动态防御与持续合规双驱动
安全·架构
偷吃的耗子4 小时前
大数据报表系统技术方案与业务方案设计
大数据·架构
Nile5 小时前
解密openclaw底层pi-mono架构系列一:1.从架构到实战
架构
霖霖总总5 小时前
[Redis小技巧5]Redis Sorted Set 深度解析:从跳表原理到亿级排行榜架构
redis·架构