GaussDB 数据库架构师修炼(十八) SQL引擎-分布式计划

1 分布式架构

  • GaussDB基于MPP (Massively Parallel Processing) 并行架构
  • Streaming流式计算框架

2 分布式计划

  • CN轻量化(light proxy)
  • FQS( fast query shipping )
  • STREAM计划
  • XC计划

|----------|--------------------------|-----------------------|
| 计划类型 | 场景 | 原理 |
| CN轻量化 | 可以直接在一个DN执行 | 直接下发SQL语句给DN |
| FQS | 语句可以完全下推DN执 行, DN之间不需要交互 | 需要走执行器逻辑下发给DN |
| STREAM | 需要DN之间交互, CN只 汇总数据 | 在CN上生成计划,下发计划给DN执行 |
| XC | 适用于所有场景 | 部分语句下推DN执行,无法下推的在CN执行 |

3 计划生成

1)计划生成主要是查询的路径树 到计划树结构转换的过程, 在分布式场景下对关联****join 、聚集操作Agg有特殊的生成逻辑

2) 当join列与分布列不一致时,需要网络stream节点,可能生成的路径:

t1 HASH BY (c1), t2 HASH BY (c2)

SELECT * FROM t1 JOIN t2 ON cx=cy;

如下:每一种策略都有可以执行,根据最下层AGG过滤元组的数量有关。

4 不支持下推的

  • 1)根据函数属性判断下推

IMMUTABLE:忽略shippable属性,可以下推

STABLE:判断shippable,受限下推

VOLATILE:判断shippable,受限下推

2)不支持下推的语法

SQL子句中存在使用RETURNING

聚集函数使用ORDER BY、COUNT(DISTINCT expr) 、expr中的列不支持重分布

数组表达式

相关推荐
lusklusklusk1 小时前
Oracle数据库基础之2_体系结构
数据库·oracle
可乐ea2 小时前
从第一性原理构建 AI Agent:提示词、工具、技能与记忆全解剖
数据库·人工智能·工具调用·ai智能体·提示词工程·agent开发·智能体记忆
东方护航数据恢复(深圳)2 小时前
医疗案例:HIS/PACS 数据库页损坏修复,医院不停诊完成恢复【东方护航数据恢复深圳店】
数据库·数据恢复·医疗·二次开盘
lusklusklusk3 小时前
Oracle数据库基础之11_Duplicate和Dataguard和RAC
数据库·oracle
PHP实战开发录4 小时前
MySQL字段加索引为什么没变快
数据库·mysql·php·开发
红红谈说5 小时前
标签化推送与已读统计怎么做?一次通知链路的工程复盘
数据库·消息推送·数字乡村·集合运算·已读回执·标签体系·写入放大
Shadow(⊙o⊙)6 小时前
MySQL索引
数据库·mysql
倔强的石头_7 小时前
多环境配置治理:开发、测试、生产连接信息如何隔离
数据库
杨云龙UP8 小时前
一次数据库查询缓慢故障复盘:大表数据增长、SQL全表扫描导致系统响应异常
linux·运维·服务器·数据库·sql·mysql
2501_933670798 小时前
2027 应用统计学秋招选岗指南:统计、SQL、业务指标如何对应岗位
数据库·sql