GaussDB 数据库架构师修炼(十八) SQL引擎-分布式计划

1 分布式架构

  • GaussDB基于MPP (Massively Parallel Processing) 并行架构
  • Streaming流式计算框架

2 分布式计划

  • CN轻量化(light proxy)
  • FQS( fast query shipping )
  • STREAM计划
  • XC计划

|----------|--------------------------|-----------------------|
| 计划类型 | 场景 | 原理 |
| CN轻量化 | 可以直接在一个DN执行 | 直接下发SQL语句给DN |
| FQS | 语句可以完全下推DN执 行, DN之间不需要交互 | 需要走执行器逻辑下发给DN |
| STREAM | 需要DN之间交互, CN只 汇总数据 | 在CN上生成计划,下发计划给DN执行 |
| XC | 适用于所有场景 | 部分语句下推DN执行,无法下推的在CN执行 |

3 计划生成

1)计划生成主要是查询的路径树计划树结构转换的过程, 在分布式场景下对关联****join 、聚集操作Agg有特殊的生成逻辑

2) 当join列与分布列不一致时,需要网络stream节点,可能生成的路径:

t1 HASH BY (c1), t2 HASH BY (c2)

SELECT * FROM t1 JOIN t2 ON cx=cy;

如下:每一种策略都有可以执行,根据最下层AGG过滤元组的数量有关。

4 不支持下推的

  • 1)根据函数属性判断下推

IMMUTABLE:忽略shippable属性,可以下推

STABLE:判断shippable,受限下推

VOLATILE:判断shippable,受限下推

2)不支持下推的语法

SQL子句中存在使用RETURNING

聚集函数使用ORDER BY、COUNT(DISTINCT expr) 、expr中的列不支持重分布

数组表达式

相关推荐
TheRouter18 分钟前
AI Agent 记忆体系建设实战:短期、长期与工作记忆的工程实现
数据库·人工智能·oracle
Omics Pro25 分钟前
首个!外源天然产物综合性代谢图谱
数据库·人工智能·算法·机器学习·r语言
JAVA面经实录9171 小时前
Hibernate面试题库
数据库·oracle·hibernate
迷枫7122 小时前
DM8 目录结构与常用排查入口梳理
服务器·数据库
Mr.Daozhi3 小时前
RAG 进阶实战:跑通 Demo 后我连续翻了 6 次车,逐一修复才真正可用(含 Gradio Web 版)
前端·数据库·langchain·大模型·gradio·rag·科研工具
小程故事多_803 小时前
Claude Code自定义workflow skills用法
数据库·人工智能·智能体
大鹏说大话3 小时前
SQL 排序与分组实战:解决“分组后取最新数据“
android·java·数据库
夏贰四4 小时前
数据建模工具如何筑牢数据根基?数据建模工具怎样落实标准体系?
数据库·数学建模·数据建模工具
程序猿阿伟5 小时前
《一套完整方法论:搞定图形应用的Docker镜像优化》
数据库·docker·容器
二等饼干~za8986685 小时前
geo优化源码开发搭建技术分享
大数据·网络·数据库·人工智能·音视频