说说Lambda架构

Lambda架构由Storm的作者Nathan Marz提出,其设计目的在于提供一个能满足大数据库系统关键特性的架构,包括高容错、低延迟、可扩展等。其整合离线批处理和实时流处理,融合不可变形、读写分离和复杂隔离性等原则,集成Hadoop、Kafka、Spark、Storm、Flink等主流大数据组件,达到强鲁性、低延迟的大数据架构思想。

Lambda架构可以分为三层,即批处理层、加速层和服务层,

批处理层(Batch Layer):主要是存储数据集和生成Batch View。Batch Layer可以很好地处理离线数据,处理地是全量数据,数据处理时延高。

加速层(Speed Layer):存储实时视图并处理传入的数据流,以便更新这些视图。Speed Layer处理地是最近地增量地数据流。

服务层(Serving Layer):用于响应用户的查询请求,合并 Batch View 和 Real-time View 中的结果数据集到最终的数据集。

相关推荐
互联网搬砖老肖7 小时前
Web 架构相关文章目录(持续更新中)
架构
计算机毕设定制辅导-无忧学长7 小时前
Kafka 核心架构与消息模型深度解析(二)
架构·kafka·linq
计算机毕设定制辅导-无忧学长7 小时前
Kafka 核心架构与消息模型深度解析(一)
分布式·架构·kafka
shepherd11111 小时前
一文带你从入门到实战全面掌握RocketMQ核心概念、架构部署、实践应用和高级特性
架构·消息队列·rocketmq
season_zhu12 小时前
iOS开发:关于日志框架
ios·架构·swift
小马爱记录12 小时前
Sentinel微服务保护
spring cloud·微服务·架构·sentinel
程序员老刘12 小时前
20%的选择决定80%的成败
flutter·架构·客户端
渔夫Lee13 小时前
OLTP分库分表数据CDC到Doris的架构设计
架构
梦想画家14 小时前
Apache Druid 架构深度解析:构建高性能分布式数据存储系统
架构·druid·数据工程
PWRJOY14 小时前
嵌入式常见 CPU 架构
架构