【大数据】Doris 架构

Doris 架构

Doris 的架构很简洁,只设 FEFrontend)、BEBackend)两种角色、两个进程,不依赖于外部组件,方便部署和运维,FE、BE 都可线性扩展。

  • FrontendFE):存储、维护集群元数据;负责接收、解析查询请求,规划查询计划,调度查询执行,返回查询结果。主要有三个角色:

    • 🚀 LeaderFollower:主要是用来达到元数据的高可用,保证单节点宕机的情况下,元数据能够实时地在线恢复,而不影响整个服务。
    • 🚀 Observer:用来扩展查询节点,同时起到元数据备份的作用。如果在发现集群压力非常大的情况下,需要去扩展整个查询的能力,那么可以加 Observer 的节点。Observer 不参与任何的写入,只参与读取。
  • BackendBE):负责物理数据的存储和计算;依据 FE 生成的物理计划,分布式地执行查询。数据的可靠性由 BE 保证,BE 会对整个数据存储多副本或者是三副本。副本数可根据需求动态调整。

  • MySQLClient:Doris 借助 MySQL 协议,用户使用任意 MySQL 的 ODBC / JDBC 以及 MySQL 的客户端,都可以直接访问 Doris。

  • Broker:Broker 为一个独立的无状态进程(是 Doris 集群中的一种可选进程)。封装了文件系统接口,提供了 Doris 读取远端存储系统中文件的能力,包括 HDFS,S3,BOS 等。

相关推荐
梦里花开知多少4 分钟前
深入理解Android binder线程模型
android·架构
2601_9553631513 分钟前
技术赋能B端拓客:号码核验行业的革新与价值重构,氪迹科技法人,股东号码筛选系统,阶梯式价格
大数据·人工智能·重构
大大大大晴天️14 分钟前
大数据实时计算-反压机制剖析
大数据·flink·spark streaming
zxsz_com_cn19 分钟前
设备预测性维护数据采集方案设计
大数据
好家伙VCC27 分钟前
**发散创新:用 Rust实现数据编织(DataWrangling)的高效流式处理架构**在现
java·开发语言·python·架构·rust
尽兴-30 分钟前
仿京东电商商品搜索服务实战:基于 Elasticsearch 的实现与落地
大数据·elasticsearch·jenkins·建模·dsl查询
红云梦32 分钟前
互联网三高-高性能之多级缓存架构
java·redis·缓存·架构·cdn
AI扑社34 分钟前
AI+GEO 驱动的全新数字营销解决方案
大数据·人工智能·geo·ai搜索
无忧智库1 小时前
破局与重构:基于“中台战略”的大型集团数字化转型深度解构(PPT)
大数据
Mintopia1 小时前
组件契约文档的标准结构(可复制模板)
前端·架构