说说Lambda架构

Lambda架构由Storm的作者Nathan Marz提出,其设计目的在于提供一个能满足大数据库系统关键特性的架构,包括高容错、低延迟、可扩展等。其整合离线批处理和实时流处理,融合不可变形、读写分离和复杂隔离性等原则,集成Hadoop、Kafka、Spark、Storm、Flink等主流大数据组件,达到强鲁性、低延迟的大数据架构思想。

Lambda架构可以分为三层,即批处理层、加速层和服务层,

批处理层(Batch Layer):主要是存储数据集和生成Batch View。Batch Layer可以很好地处理离线数据,处理地是全量数据,数据处理时延高。

加速层(Speed Layer):存储实时视图并处理传入的数据流,以便更新这些视图。Speed Layer处理地是最近地增量地数据流。

服务层(Serving Layer):用于响应用户的查询请求,合并 Batch View 和 Real-time View 中的结果数据集到最终的数据集。

相关推荐
互联网搬砖老肖1 小时前
Web 架构之攻击应急方案
前端·架构
zizisuo1 小时前
9.3.云原生架构模式
云原生·架构
风虎云龙科研服务器6 小时前
英伟达Blackwell架构重构未来:AI算力革命背后的技术逻辑与产业变革
人工智能·重构·架构
邪恶的贝利亚8 小时前
《Docker 入门与进阶:架构剖析、隔离原理及安装实操》
docker·容器·架构
镜舟科技12 小时前
湖仓一体架构在金融典型数据分析场景中的实践
starrocks·金融·架构·数据分析·湖仓一体·物化视图·lakehouse
Ramseyuu13 小时前
Mybatis-plus
微服务·云原生·架构
charlie11451419113 小时前
内核深入学习3——分析ARM32和ARM64体系架构下的Linux内存区域示意图与页表的建立流程
linux·学习·架构·内存管理
堕落年代14 小时前
SpringBoot的单体和分布式的任务架构
spring boot·分布式·架构
慧一居士15 小时前
Memcached 服务搭建和集成使用的详细步骤示例
数据库·架构·nosql·memcached
互联网搬砖老肖16 小时前
Web 架构之负载均衡会话保持
前端·架构·负载均衡