说说Lambda架构

Lambda架构由Storm的作者Nathan Marz提出,其设计目的在于提供一个能满足大数据库系统关键特性的架构,包括高容错、低延迟、可扩展等。其整合离线批处理和实时流处理,融合不可变形、读写分离和复杂隔离性等原则,集成Hadoop、Kafka、Spark、Storm、Flink等主流大数据组件,达到强鲁性、低延迟的大数据架构思想。

Lambda架构可以分为三层,即批处理层、加速层和服务层,

批处理层(Batch Layer):主要是存储数据集和生成Batch View。Batch Layer可以很好地处理离线数据,处理地是全量数据,数据处理时延高。

加速层(Speed Layer):存储实时视图并处理传入的数据流,以便更新这些视图。Speed Layer处理地是最近地增量地数据流。

服务层(Serving Layer):用于响应用户的查询请求,合并 Batch View 和 Real-time View 中的结果数据集到最终的数据集。

相关推荐
mldong8 小时前
流程实例如何沿着箭头走到结束:Rust 工作流引擎的执行内核
架构·rust
许彰午8 小时前
22-DataCenter报文序列化
java·低代码·架构·状态模式
zabr10 小时前
Agent少问你,不代表控制更少
架构·aigc·ai编程
闲云野鹤在人间12 小时前
OpenStack架构介绍和安装流程
linux·网络·架构·openstack
这个DBA有点耶12 小时前
同城双活落地的三座山:网络延迟、脑裂预防、反向同步
数据库·架构·dba
我是大AI13 小时前
实战解析:基于多源交叉验证的AI幻觉治理架构与GEO行业解决方
人工智能·架构
yangdaxiageo13 小时前
AI搜索广告的商业化底座:GEO技术架构的三层模型详解
人工智能·架构
代码方舟14 小时前
零信任架构实战:基于天远车辆估值构建自动化二手车评估网关
运维·人工智能·架构·自动化
xiaohaiAIgeo14 小时前
【2026年】实验室IoT三层部署架构详解
人工智能·物联网·架构·科普知识
国科安芯14 小时前
星载CAN总线通信网络中抗辐射MCU的通信可靠性设计分析
网络·人工智能·分布式·单片机·嵌入式硬件·架构