【Flink运行时架构】系统构架

SMP架构

数据处理系统的架构最简单的实现方式就是单节点,但是随着数据量的增大,为了使单节点的机器性能更加强大,需要增加CPU数量和加大内存来提高吞吐量。这就是所谓的SMP(Symmetrical Multi Processing,对称多处理)架构。

但是这种架构带来的问题也很明显,不仅所有CPU是完全平等且共享内存和总线资源的,会带来资源竞争。而且随着CPU数量的增加,机器成本会呈指数级增长。因此,SMP的可扩展性是比较差的,无法应对海量数据的处理场景。

分布式架构

基于SMP的局限,提出了不共享任何东西(share-nothing)的分布式架构,比如从 MPP(Massively Parallel Processing,大规模并行处理)架构,到以Hadoop、Spark为代表的批处理,再到以Flink为代表的流处理架构,都是以分布式作为系统架构的基本形态。Flink是一个分布式的并行流处理系统,由多个进程构成,这些进程一般会分布运行在不同的机器上。

对于分布式系统的管理,有很多棘手的问题。比如集群中资源的分配和管理、进程协调调度、持久化和高可用的数据存储、以及故障恢复等。不过,对于分布式系统中这些典型问题,业内已经有比较成熟的解决方案和服务了。

因此,Flink在设计中并不会去处理这些通用问题,而是利用现有的集群架构和服务。比如,在集群资源管理方面,会与现有Yarn、K8s、Mesos等工具集成;在分布式村粗方面,会直接利用现有的HDFS、S3等分布式文件系统;在高可用配置方面,会依赖ZooKeeper来完成。

通过以上方式,Flink就可以把精力集中在核心工作上了,也就是分布式数据流处理。那么,Flink是如何具体实现分布式流处理的,它有哪些组件构成。 下一篇详细介绍。

相关推荐
努力努力再努力wz4 分钟前
【Docker入门系列】:从架构演进到容器化:一文建立 Docker、虚拟化与 Namespace 的底层心智模型
运维·开发语言·数据结构·c++·docker·容器·架构
天衍四九-16 分钟前
Agent Skills从入门到工程化(十六):面试中如何讲清楚 Agent Skills?
大数据·数据库·人工智能·python·chatgpt·面试
Capricorn198817 分钟前
跨端同步与记忆锁定排障:OpenClaw 2.0 Active Memory 云端劫持危机,知芽 Notebook Skill 单元记忆架构解析
大数据·论文阅读·人工智能·笔记·架构·论文笔记
吴佳浩 Alben25 分钟前
多智能体系统的通信风暴与死锁治理:生产级降级与容灾方案
人工智能·docker·ai·容器·架构
Brilliantwxx1 小时前
【STM32】RCC与时钟树 深度详解
stm32·单片机·嵌入式硬件·架构
风123456789~1 小时前
【架构专栏】5.7 软件工程 -软件项目管理 3/3-2
架构·软件工程
chinesegf1 小时前
现代互联网服务的经典架构
服务器·架构·llama
fastjson_1 小时前
Spark 安装和使用
大数据·分布式·spark
计算机源码社1 小时前
分享一个基于大数据的跨平台内容生态画像与互动等级分析系统,基于Hadoop+Spark的社交媒体互动数据可视化大屏分析
大数据·hadoop·python·机器学习·数据挖掘·spark·毕业设计
Zenova EdgeOS1 小时前
储能项目 BOT 模式演变:从单一建设到全周期运营的多元路径
大数据·人工智能