说说Lambda架构

Lambda架构由Storm的作者Nathan Marz提出,其设计目的在于提供一个能满足大数据库系统关键特性的架构,包括高容错、低延迟、可扩展等。其整合离线批处理和实时流处理,融合不可变形、读写分离和复杂隔离性等原则,集成Hadoop、Kafka、Spark、Storm、Flink等主流大数据组件,达到强鲁性、低延迟的大数据架构思想。

Lambda架构可以分为三层,即批处理层、加速层和服务层,

批处理层(Batch Layer):主要是存储数据集和生成Batch View。Batch Layer可以很好地处理离线数据,处理地是全量数据,数据处理时延高。

加速层(Speed Layer):存储实时视图并处理传入的数据流,以便更新这些视图。Speed Layer处理地是最近地增量地数据流。

服务层(Serving Layer):用于响应用户的查询请求,合并 Batch View 和 Real-time View 中的结果数据集到最终的数据集。

相关推荐
lose and dream_1119 分钟前
【 2024!深入了解 大语言模型(LLM)微调方法(总结)】
大数据·人工智能·opencv·机器学习·语言模型·自然语言处理·架构
尾巴尖上的阳光1 小时前
ETCD概述--使用/特性/架构/原理
数据库·架构·etcd
飞翔的佩奇4 小时前
Java项目:基于SSM框架实现的网上医院预约挂号系统【ssm+B/S架构+源码+数据库+毕业论文】
java·数据库·mysql·spring·架构·ssm框架·预约挂号
2401_857636395 小时前
【深入剖析】Kylin架构全景及其组件详解
大数据·架构·kylin
隐墨星辰15 小时前
图解支付账务系统核心设计(进阶版)
后端·架构
猿java18 小时前
在分布式系统中,服务发现是如何工作的?
分布式·后端·架构
云计算-Security19 小时前
浅谈 MySQL 复制架构
数据库·mysql·架构
CloudJourney21 小时前
一文学会LVS:概念、架构、原理、搭建过程、常用命令及实战案例
java·架构·lvs
阳爱铭21 小时前
Apache Iceberg:现代数据湖存储格式的未来
java·大数据·数据库·架构·apache·数据库开发·数据库架构
Jack轻舟1 天前
揭秘分布式系统:初学者指南
分布式·微服务·架构