说说Lambda架构

Lambda架构由Storm的作者Nathan Marz提出,其设计目的在于提供一个能满足大数据库系统关键特性的架构,包括高容错、低延迟、可扩展等。其整合离线批处理和实时流处理,融合不可变形、读写分离和复杂隔离性等原则,集成Hadoop、Kafka、Spark、Storm、Flink等主流大数据组件,达到强鲁性、低延迟的大数据架构思想。

Lambda架构可以分为三层,即批处理层、加速层和服务层,

批处理层(Batch Layer):主要是存储数据集和生成Batch View。Batch Layer可以很好地处理离线数据,处理地是全量数据,数据处理时延高。

加速层(Speed Layer):存储实时视图并处理传入的数据流,以便更新这些视图。Speed Layer处理地是最近地增量地数据流。

服务层(Serving Layer):用于响应用户的查询请求,合并 Batch View 和 Real-time View 中的结果数据集到最终的数据集。

相关推荐
2501_933329552 小时前
媒介宣发技术实践:Infoseek舆情系统的AI中台架构与应用解析
开发语言·人工智能·架构·数据库开发
陈天伟教授3 小时前
GPT Image 2-桂林山水
人工智能·神经网络·安全·架构
Reart5 小时前
从0解构tinyWeb项目--(Day:9)
后端·架构·github
阿祖zu6 小时前
本地到生产,解决 AI 全栈最后一公里——构建&部署&运维
运维·架构·aigc
汤姆Tom6 小时前
从 0 到 1 开发项目?你是否也是这样开始?先有再优化一步一步带你了解架构设计
前端·后端·架构
前端DOM哥10 小时前
8 年前的老代码 + 20 刀 AI token = 我的第一款独立产品
前端·人工智能·架构
不丿二12 小时前
OpenCLI 架构深度解析
架构
珹洺12 小时前
C++AI多模型聊天系统(一)项目背景意义与整体架构、核心基类实现
c++·人工智能·架构
小江的记录本13 小时前
【微服务与云原生架构】DevOps、CI/CD流水线、GitOps 系统性知识体系
分布式·后端·ci/cd·微服务·云原生·架构·devops
qcx2314 小时前
知识沉淀 | 2026 年 LLM 评测体系 & 主流开源模型架构全景
架构·开源