说说Lambda架构

Lambda架构由Storm的作者Nathan Marz提出,其设计目的在于提供一个能满足大数据库系统关键特性的架构,包括高容错、低延迟、可扩展等。其整合离线批处理和实时流处理,融合不可变形、读写分离和复杂隔离性等原则,集成Hadoop、Kafka、Spark、Storm、Flink等主流大数据组件,达到强鲁性、低延迟的大数据架构思想。

Lambda架构可以分为三层,即批处理层、加速层和服务层,

批处理层(Batch Layer):主要是存储数据集和生成Batch View。Batch Layer可以很好地处理离线数据,处理地是全量数据,数据处理时延高。

加速层(Speed Layer):存储实时视图并处理传入的数据流,以便更新这些视图。Speed Layer处理地是最近地增量地数据流。

服务层(Serving Layer):用于响应用户的查询请求,合并 Batch View 和 Real-time View 中的结果数据集到最终的数据集。

相关推荐
逻极24 分钟前
OpenClaw「Clawdbot/Moltbot」 深入解析:核心架构深度剖析
python·ai·架构·agent·ai编程·moltbot·openclaw
pcm1235671 小时前
设计C/S架构的IM通信软件(3)
java·c语言·架构
岁岁种桃花儿1 小时前
深度解析DolphinScheduler核心架构:去中心化调度的设计与实践
架构·去中心化·区块链
hellojackjiang20111 小时前
如何保障分布式IM聊天系统的消息可靠性(即消息不丢)
分布式·网络安全·架构·信息与通信
彷徨的蜗牛2 小时前
架构思维的精髓:在解构与集成间驱动数字化演进
架构
esmap2 小时前
技术解构:ESMAP AI数字孪生赋能传统行业转型的全链路技术方案
人工智能·低代码·ai·架构·编辑器·智慧城市
喜欢吃豆2 小时前
对象存储架构演进与AI大模型时代的深度融合:从S3基础到万亿参数训练的技术全景
人工智能·架构
马武寨山的猴子2 小时前
【KTransformers+SGLang】:异构推理架构融合与性能实测全解析
架构·transformer·moe·ktransformers·sglang
铁蛋AI编程实战3 小时前
DeepSeek mHC 架构 + Agent 实战大模型开发指南
人工智能·架构·开源