说说Lambda架构

Lambda架构由Storm的作者Nathan Marz提出,其设计目的在于提供一个能满足大数据库系统关键特性的架构,包括高容错、低延迟、可扩展等。其整合离线批处理和实时流处理,融合不可变形、读写分离和复杂隔离性等原则,集成Hadoop、Kafka、Spark、Storm、Flink等主流大数据组件,达到强鲁性、低延迟的大数据架构思想。

Lambda架构可以分为三层,即批处理层、加速层和服务层,

批处理层(Batch Layer):主要是存储数据集和生成Batch View。Batch Layer可以很好地处理离线数据,处理地是全量数据,数据处理时延高。

加速层(Speed Layer):存储实时视图并处理传入的数据流,以便更新这些视图。Speed Layer处理地是最近地增量地数据流。

服务层(Serving Layer):用于响应用户的查询请求,合并 Batch View 和 Real-time View 中的结果数据集到最终的数据集。

相关推荐
Ryan今天学习了吗2 小时前
💥不说废话,带你上手使用 qiankun 微前端并深入理解原理!
前端·javascript·架构
Xの哲學3 小时前
Linux eMMC子系统深度解析:从硬件协议到内核实现
linux·网络·算法·架构·边缘计算
小马哥编程3 小时前
【软考架构】案例分析-瘦客户端C/S架构
运维·服务器·架构
二宝1524 小时前
黑马商城day8-ES01
分布式·微服务·架构
深度学习机器8 小时前
RAG的另一种思路,基于文档树结构的推理型检索
人工智能·算法·架构
深度学习机器8 小时前
Agent架构新方向?Claude Skills工作原理解析
人工智能·算法·架构
Wang's Blog8 小时前
Nestjs框架: gRPC微服务通信及安全实践全解析
安全·微服务·架构·nestjs
常先森8 小时前
【解密源码】 RAGFlow 切分最佳实践- naive parser 语义切块(pdf 篇)
架构·llm·agent
星哥说事8 小时前
分布式存储:Ceph、GlusterFS、MinIO架构与部署
分布式·ceph·架构
重铸码农荣光9 小时前
从零搭建博客小程序:吃透配置、架构与核心原理,新手也能轻松上手
微信小程序·架构