【Rust 2026教程:从零构建 Mini-OLAP 引擎】第 3 章 表达式系统:把 SQL 表达式变成可执行树

1.1 背景知识

SQL 中的 WHERE amount > 100 AND city = 'BJ'、SELECT amount * 1.13 都是标量 表达式。数据库内核需要一个统一抽象来表示并求值它们。

主流方案有两种:

  1. 解释执行(Tree-walking interpreter) :把表达式建成树,递归 eval。简单直观,DuckDB 默认走这条
  2. JIT 编译:用 LLVM/Cranelift 把表达式编译成机器码。极致性能但复杂度高,ClickHouse、Apache DataFusion 部分场景使用

入门阶段先实现解释执行------配合向量化 batch,单机 10 亿行/秒的吞吐已经触手可及。

表达式树节点

表达式树的节点类型一般有:

  • ColumnRef:引用某一列(按下标或名字)
  • Literal:常量
  • BinaryOp :+ - * / > < = AND OR
  • Function :upper(s)、abs(x)...

求值结果统一为一个 Column(注意:标量也要"广播"成与 batch 等长的列,便于后续算子统一处理)。

1.2 设计思路

rs 复制代码
enum Expr {
    Col(usize),
    LitI64(i64), LitF64(f64), LitStr(String),
    Gt(Box<Expr>, Box<Expr>),
    Eq(Box<Expr>, Box<Expr>),
    And(Box<Expr>, Box<Expr>),
    Add(Box<Expr>, Box<Expr>),
    Mul(Box<Expr>, Box<Expr>),
}

求值函数 eval(&self, batch: &Batch) -> Column,递归实现。

为了简洁,本章只支持 i64 和 f64 两种数值类型 + Utf8 等值比较。生产引擎会通过 macro 或代码生成扩展到上百种类型组合(DuckDB 有专门的 "type matrix" 模板)。

1.3 代码实现

src/expr.rs(核心片段):

rs 复制代码
#[derive(Debug, Clone)]
pub enum Expr {
    Col(usize),
    LitI64(i64), LitF64(f64), LitStr(String),
    Gt(Box<Expr>, Box<Expr>),
    Eq(Box<Expr>, Box<Expr>),
    And(Box<Expr>, Box<Expr>),
    Add(Box<Expr>, Box<Expr>),
    Mul(Box<Expr>, Box<Expr>),
}

impl Expr {
    pub fn eval(&self, batch: &Batch) -> Column {
        match self {
            Expr::Col(i)    => batch.arrays()[*i].clone(),
            Expr::LitI64(v) => broadcast_i64(*v, batch.len()),
            Expr::LitF64(v) => broadcast_f64(*v, batch.len()),
            Expr::LitStr(s) => broadcast_str(s, batch.len()),

            Expr::Gt(l, r)  => cmp(l, r, batch, Op::Gt),
            Expr::Eq(l, r)  => cmp(l, r, batch, Op::Eq),
            Expr::Add(l, r) => arith(l, r, batch, ArithOp::Add),
            Expr::Mul(l, r) => arith(l, r, batch, ArithOp::Mul),
            Expr::And(l, r) => bool_and(&l.eval(batch), &r.eval(batch)),
        }
    }
}

cmp / arith 内部按 (lhs_type, rhs_type) 做手动 dispatch,分别处理 Int64×Int64、Float64×Float64、Utf8×Utf8 三组(完整代码见仓库 src/expr.rs)。

把 Filter 改造成接收 Expr,立刻得到一个通用的过滤算子。表达 amount > 100 AND city = 'BJ':

rs 复制代码
use Expr::*;
let pred = And(
    Box::new(Gt(Box::new(Col(2)), Box::new(LitF64(100.0)))),
    Box::new(Eq(Box::new(Col(1)), Box::new(LitStr("BJ".into())))),
);

1.4 自测题

  1. 为什么字面量也要"广播"成与 batch 等长的列?直接保留标量行不行?
  2. 表达式树解释执行的主要开销在哪里?JIT 能优化掉哪些?
  3. Add(Col(0), Mul(Col(1), LitF64(0.13))) 这种嵌套表达式,每个子节点都会产生一个临时 Column,会带来什么性能问题?如何缓解?
  4. 如果要支持 NULL 语义(三值逻辑),上面的实现需要哪些改动?

1.5 拓展学习

  • 论文:Everything You Always Wanted to Know About Compiled and Vectorized Queries But Were Afraid to Ask(VLDB 2018)
  • DataFusion 的 PhysicalExpr trait 设计
  • 动手:实现 Case When ... Then ... Else,思考短路求值在向量化下的取舍
相关推荐
货拉拉技术6 分钟前
AI Agent 如何进入实时交易系统:货拉拉的三个实践与一套工程方法论
后端·架构·agent
我是谁的程序员7 分钟前
iOS 性能分析在 Windows 上怎么做,用 KXBuild 的 kxdevice 替代 Instruments
后端·ios
华为云开发者联盟14 分钟前
TaurusDB 慢 SQL 智能诊断:用大模型辅助调优
后端
ServBay17 分钟前
AI编程越来越强,为什么软件漏洞却是一个没少?MySQL又爆高危漏洞了
后端·mysql
季风113238 分钟前
10.对象关系行为
后端
tann1 小时前
Environment类
后端
鲸鹏芯海微电子科技上海有限公司1 小时前
手机直连卫星,射频前端到底要解决什么?
前端·后端
开心就好20251 小时前
通配符 Bundle ID 和精确 Bundle ID 怎么选,推送、iCloud 能不能用通配符
后端·ios
测试员周周1 小时前
【agent评测】:真实系统演示工具调用长什么样,用例怎么设计,怎么测
前端·后端·github
宇先生本人号1 小时前
别再用“AI 说完成了”:一套可复算的 Agent 验收流水线
后端