说说Lambda架构

Lambda架构由Storm的作者Nathan Marz提出,其设计目的在于提供一个能满足大数据库系统关键特性的架构,包括高容错、低延迟、可扩展等。其整合离线批处理和实时流处理,融合不可变形、读写分离和复杂隔离性等原则,集成Hadoop、Kafka、Spark、Storm、Flink等主流大数据组件,达到强鲁性、低延迟的大数据架构思想。

Lambda架构可以分为三层,即批处理层、加速层和服务层,

批处理层(Batch Layer):主要是存储数据集和生成Batch View。Batch Layer可以很好地处理离线数据,处理地是全量数据,数据处理时延高。

加速层(Speed Layer):存储实时视图并处理传入的数据流,以便更新这些视图。Speed Layer处理地是最近地增量地数据流。

服务层(Serving Layer):用于响应用户的查询请求,合并 Batch View 和 Real-time View 中的结果数据集到最终的数据集。

相关推荐
微学AI1 小时前
详细介绍:MCP(大模型上下文协议)的架构与组件,以及MCP的开发实践
前端·人工智能·深度学习·架构·llm·mcp
星辰大海的精灵4 小时前
图解Java并发容器: CHM、ConcurrentLinkedQueue、七种阻塞队列的使用场景和原理
java·后端·架构
VeryCool5 小时前
React Native新架构升级实战【从 0.62 到 0.72】
前端·javascript·架构
七月丶7 小时前
2025 年主流混合开发框架全面对比:React Native、Flutter、Weex 谁更能打?
前端·后端·架构
season_zhu7 小时前
iOS开发:关于Moya之上的Request层
ios·架构·swift
何双新7 小时前
企业AI应用模式解析:从本地部署到混合架构
人工智能·架构
Blossom.1188 小时前
量子计算在金融领域的应用与展望
数据库·人工智能·分布式·金融·架构·量子计算·ai集成
Goboy9 小时前
SQL面试实战,30分钟征服美女面试官
后端·面试·架构
Mike_jia10 小时前
一篇文章带你了解一款强大的开源监控报警系统---Prometheus
架构
Mike_jia10 小时前
一篇文章带你了解一款强大的时序数据库---InfluxDB
架构