Lambda架构的三层 批处理层 加速层 服务层

Lambda架构是一种大数据处理架构,由Nathan Marz提出,它旨在处理大规模数据的批处理和实时处理问题。Lambda架构试图提供一种既能处理大量数据,又能提供低延迟查询和视图的系统。它主要由以下三层组成:

1. 批处理层(Batch Layer)

批处理层的目的是处理大量的历史数据。这一层负责存储和管理原始数据的不变性版本,并运行预定义的批处理作业来预计算结果。这些批处理作业通常是高延迟的(可能需要几分钟到几小时不等),但可以处理非常大的数据集,并确保数据的完整性和准确性。

批处理层通常使用分布式文件系统(如HDFS)来存储数据,并使用大数据处理框架(如Hadoop MapReduce或Apache Spark)来进行计算。

2. 加速层(Speed Layer)

速度层的主要目的是处理实时数据流,以便系统能够提供低延迟的数据视图。由于批处理层有较高的延迟,速度层补充了这一点,通过实时处理最近的数据更新来提供近乎实时的视图。速度层的输出通常是不完整的,并且只代表自上一次批处理作业以来发生的数据。

这一层通常使用流处理技术(如Apache Storm、Apache Flink或Kafka Streams)来处理即时数据流。

3. 服务层(Serving Layer)

服务层的作用是为用户查询提供响应。它将批处理层预计算的结果与速度层实时计算的结果合并,以提供一个全面的数据视图。服务层需要能够快速更新和查询,因此通常使用如NoSQL数据库(如Apache HBase或Cassandra)来支持这种需求。

在查询时,服务层会同时访问批处理层的预计算视图和速度层的实时视图,并将两者的结果合并以提供最终的查询结果。

Lambda架构的挑战

尽管Lambda架构在处理大规模数据系统的同时提供了批处理和实时处理的能力,但它也带来了一些挑战,如:

  • 复杂性:维护两套逻辑(批处理和实时处理)增加了系统的复杂性。
  • 数据延迟:批处理层可能会导致数据处理的延迟。
  • 资源消耗:运行两个系统(批处理和实时处理)需要更多的资源。

为了解决这些挑战,出现了一些替代架构,如Kappa架构,它只使用一个处理系统来处理实时数据流,同时也用于生成历史数据视图,从而减少了复杂性和资源消耗。

相关推荐
Code季风32 分钟前
微服务分布式配置中心:Gin Web 服务层与 gRPC 服务层集成 Nacos 实战
分布式·微服务·rpc·架构·go·gin·consul
赋范大模型技术社区2 小时前
【LangChain 实战】多智能体协作实现浏览器自动化丨Agents 运行流程丨多工具串&并联调用
架构·github·代码规范
步、步、为营2 小时前
.net微服务框架dapr保存和获取状态
微服务·架构·.net
敖行客 Allthinker4 小时前
云原生安全观察:零信任架构与动态防御的下一代免疫体系
安全·ai·云原生·架构·kubernetes·ebpf
鹏程十八少4 小时前
10.Android 设计模式 核心模式之四动态代理 在商业项目中的落地
架构
星辰大海的精灵5 小时前
FastAPI开发AI应用,多厂商模型使用指南
人工智能·后端·架构
前端付豪5 小时前
2、前端架构三要素:模块化、工程化、平台化
前端·javascript·架构
timeweaver5 小时前
前端救星:玩转 Nginx 配置,10 倍提升你的项目部署体验 🚀
前端·架构
uhakadotcom5 小时前
刚刚,Golang更新了, 1.24.5 与 Go 1.23.11有啥新能力?
后端·面试·架构
DemonAvenger5 小时前
Go中UDP编程:实战指南与使用场景
网络协议·架构·go