说说Lambda架构

Lambda架构由Storm的作者Nathan Marz提出,其设计目的在于提供一个能满足大数据库系统关键特性的架构,包括高容错、低延迟、可扩展等。其整合离线批处理和实时流处理,融合不可变形、读写分离和复杂隔离性等原则,集成Hadoop、Kafka、Spark、Storm、Flink等主流大数据组件,达到强鲁性、低延迟的大数据架构思想。

Lambda架构可以分为三层,即批处理层、加速层和服务层,

批处理层(Batch Layer):主要是存储数据集和生成Batch View。Batch Layer可以很好地处理离线数据,处理地是全量数据,数据处理时延高。

加速层(Speed Layer):存储实时视图并处理传入的数据流,以便更新这些视图。Speed Layer处理地是最近地增量地数据流。

服务层(Serving Layer):用于响应用户的查询请求,合并 Batch View 和 Real-time View 中的结果数据集到最终的数据集。

相关推荐
Aska_Lv19 分钟前
业务架构设计---硬件设备监控指标数据上报业务Java企业级架构
后端·架构
洛北辰南34 分钟前
系统架构设计师—系统架构设计篇—SOA架构
架构·系统架构·soa
jason_yang2 小时前
buildAdmin 框架使用半年总结
vue.js·架构·element
七月丶2 小时前
🔥 前端性能优化实战:从 0 到 1 提升 Web 应用速度
前端·架构
fxrz122 小时前
我眼中的无服务架构:云时代的创新引擎
架构
哔哩哔哩技术3 小时前
大会员交易系统建设
架构
JZC_xiaozhong3 小时前
微服务架构下的 Node.js
科技·微服务·架构·node.js
Jiude4 小时前
💻 从买服务器到搞定一切:帮朋友搭建企业技术基建!(一)🚀
服务器·后端·架构
啾啾Fun5 小时前
[微服务设计]2_演化式架构
java·微服务·架构
非优秀程序员6 小时前
manus的底裤被扒,或为开源软件【browser_use】的套壳产品,目前为MVP阶段并引入了一些深度定制
人工智能·架构·开源