Databend 十月月报：存储过程正式可用，数据流程全面自动化

Hi，Databend 的朋友们！🚀

十月，我们专注于生产自动化的落地。存储过程正式可用并移除了实验性标记，SQL 脚本引擎支持 dynamic schema introspection，能够处理复杂的 ETL 流程。同时，我们发布了 JSON 全文检索的 inverted index、智能内存溢出控制，并全面升级了运维工具------本月共发布了十一个版本。

月度数据

22 个新功能 ，19 个 bug 修复 ，15 项重构 ，12 项维护更新。

本月亮点

🔥 核心新功能

存储过程正式可用 ------ 支持 dynamic schema introspection，移除实验性标记，内置完整的脚本能力
ANY JOIN 操作 ------ INNER/LEFT/RIGHT ANY JOIN，高效的集合成员检查和半连接模式
JSON 全文搜索 ------ inverted index 支持 Variant 内部字段扫描，半结构化数据的快速文本搜索
COPY 历史追踪 ------ 新增 copy_history 系统表，记录所有 COPY 操作的完整历史
Vacuum 保护 ------ 不可逆的 DROP 操作需要明确确认，防止误删数据
数学函数扩展 ------ 新增 isnan() 和 isinf() 函数，用于 IEEE 754 浮点数验证

⚡ 性能与运维

智能内存溢出 ------ BackpressureSpiller 在内存压力下协调提前溢出，防止 OOM
Pipeline 优化 ------ 修正 max_threads 计算，根据 pipe 宽度合理调整并行执行
S3 智能分层 ------ 增强 AWS S3 存储类转换支持，降低延迟波动
表达式解析加速 ------ 复杂表达式的 SQL 解析更快
统计信息增强 ------ SHOW STATISTICS 现在包含虚拟列统计和 min/max 值，查询规划更准确

🔧 Meta 服务改进

运维诊断 ------ databend-meta -V 显示详细构建信息；新增 metactl dump-raft-log-wal 调试工具
I/O 计时 ------ 追踪日志条目应用时间，快速定位性能瓶颈
RPC 整合 ------ RpcHandler 统一计时指标，可观测性更好
原子化 watch 流 ------ 修复 watch 流注册的竞态条件，集群更稳定

🐛 稳定性与可靠性

CSV 内存修复 ------ 大型 CSV COPY 操作不再 OOM，得益于流式处理改进
JWT 优化 ------ 更智能的密钥查找，避免不必要的 JWKS 刷新请求
Parquet 流式处理 ------ 修复基表列类型变更时的反序列化错误
Grouping sets ------ 修正复杂 GROUP BY 操作的 shuffle 模式处理
行访问策略 ------ 修复参数顺序和大小写敏感问题
NULL 约束 ------ 列修改时的正确验证

🎯 默认配置

Geo 和虚拟列 ------ 现在默认为所有新部署启用
MERGE INTO ------ 移除实验性标记；完全生产可用

🤝 社区

欢迎新贡献者 @camilesing 和 @RiversJin ------ 感谢你们的参与！

核心功能：AI 训练数据自动化的存储过程

存储过程是十月的核心功能。SQL 脚本引擎支持 dynamic schema introspection 后，实验性标记也一并移除------现在开箱即用。你可以完全用 SQL 自动化复杂的数据处理流程，不再需要外部工具。

来看真实场景：自动驾驶模型训练。路测视频被提取成单帧，AI 自动标注每一帧（行人、车辆、天气、光照）。你需要根据特定条件筛选视频帧------比如"城市夜景有行人"或"雨天城市镜头"------来构建针对性的训练数据集。

这个教程演示了 LET 变量、IF 条件、临时表、子查询、多表聚合、RETURN TABLE------所有生产自动化需要的核心功能。

Step-by-Step 教程

1. 创建数据库和表

sql 复制代码

CREATE DATABASE IF NOT EXISTS av_training;
USE av_training;

-- 视频帧标注表（AI 生成的标签）
CREATE TABLE video_frames (
    video_id STRING,
    frame_id INT,
    scene_type STRING,        -- 'urban', 'highway'
    has_pedestrian BOOLEAN,
    has_vehicle BOOLEAN,
    lighting STRING,          -- 'day', 'night', 'dusk'
    weather STRING,           -- 'clear', 'rainy', 'foggy', 'sunny'
    pedestrian_count INT,
    confidence FLOAT,         -- AI 标注置信度
    capture_date DATE
);

2. 插入样例数据

sql 复制代码

INSERT INTO video_frames VALUES
-- 城市夜景，有行人
('V001', 1, 'urban', true, true, 'night', 'clear', 2, 0.95, '2025-10-20'),
('V001', 2, 'urban', true, false, 'night', 'clear', 1, 0.92, '2025-10-20'),

-- 高速白天场景
('V002', 1, 'highway', false, true, 'day', 'sunny', 0, 0.98, '2025-10-21'),

-- 城市夜景雨天
('V003', 1, 'urban', true, true, 'night', 'rainy', 1, 0.89, '2025-10-22'),
('V003', 2, 'urban', true, false, 'night', 'rainy', 2, 0.91, '2025-10-22'),

-- 高速夜景（无行人）
('V004', 1, 'highway', false, true, 'night', 'clear', 0, 0.97, '2025-10-23'),

-- 城市白天场景
('V005', 1, 'urban', true, true, 'day', 'clear', 3, 0.88, '2025-10-24'),
('V005', 2, 'urban', true, false, 'day', 'foggy', 1, 0.93, '2025-10-24');

3. 创建视频帧筛选存储过程

这个存储过程保持业务逻辑简单：始终筛选高置信度（≥ 0.85）的行人场景，同时允许按场景类型和天气缩小范围：

sql 复制代码

CREATE PROCEDURE filter_training_frames(
    scene_filter STRING,       -- 'urban', 'highway', 'ALL'
    weather_filter STRING,     -- 'clear', 'rainy', 'ALL'
    date_from DATE,
    date_to DATE
)
RETURNS TABLE (
    scene_type STRING,
    lighting STRING,
    weather STRING,
    frame_count INT,
    pedestrians INT,
    avg_confidence DOUBLE,
    total_frames INT
)
LANGUAGE SQL
AS $$
BEGIN
    LET min_conf := 0.85;
    LET total_frames := 0;

    CREATE OR REPLACE TEMPORARY TABLE matched_frames AS
    SELECT
        video_id, frame_id, scene_type, lighting,
        weather, pedestrian_count, confidence
    FROM video_frames
    WHERE capture_date BETWEEN :date_from AND :date_to
      AND confidence >= min_conf
      AND (:scene_filter = 'ALL' OR scene_type = :scene_filter)
      AND (:weather_filter = 'ALL' OR weather = :weather_filter)
      AND has_pedestrian = true;

    LET total_frames := (SELECT COUNT(*) FROM matched_frames);

    IF total_frames = 0 THEN
        RETURN TABLE(
            SELECT NULL::STRING AS scene_type,
                   NULL::STRING AS lighting,
                   NULL::STRING AS weather,
                   0::INT AS frame_count,
                   0::INT AS pedestrians,
                   0.0::DOUBLE AS avg_confidence,
                   0::INT AS total_frames
        );
    END IF;

    RETURN TABLE(
        SELECT
            scene_type,
            lighting,
            weather,
            COUNT(*) AS frame_count,
            SUM(pedestrian_count) AS pedestrians,
            AVG(confidence) AS avg_confidence,
            :total_frames AS total_frames
        FROM matched_frames
        GROUP BY scene_type, lighting, weather
        ORDER BY frame_count DESC
    );
END;
$$;

4. 运行存储过程：筛选城市行人场景（任意天气）

sql 复制代码

CALL PROCEDURE filter_training_frames(
    'urban',                   -- 城市场景
    'ALL',                     -- 任意天气
    DATE '2025-10-20',
    DATE '2025-10-24'
);

预期输出：

arduino 复制代码

scene_type | lighting | weather | frame_count | pedestrians | avg_confidence | total_frames
urban      | night    | rainy   |           2 |           3 |           0.90 |            6
urban      | night    | clear   |           2 |           3 |           0.94 |            6
urban      | day      | foggy   |           1 |           1 |           0.93 |            6
urban      | day      | clear   |           1 |           3 |           0.88 |            6

核心功能演示

核心能力

LET 用于计数器/阈值，IF 提前退出，临时表
查询中的 :variable 插值和聚合的 RETURN TABLE

生产应用场景

这个模式适用于：

AI/ML 数据准备 ------ 筛选和分析训练数据集
数据质量检查 ------ 验证并报告数据问题
ETL 流水线 ------ 多步骤转换与中间暂存
业务报表 ------ 参数化报表与聚合
数据验证 ------ 带提前退出的条件检查

了解更多：存储过程与 SQL 脚本文档

以上完整示例可以在 databend.cn 注册体验

总结

存储过程的正式可用标志着 Databend 迈入新的阶段：从查询引擎进化为完整的数据平台。用户可以在统一的 Rust 引擎上，用 Snowflake 兼容的 SQL 语法，处理结构化分析、半结构化搜索、向量检索、地理空间分析和数据自动化------所有功能开箱即用，完全开源。

我们即将推出 table branching 功能，让数据表像代码一样支持分支、测试和合并，敬请期待！

关于 Databend

Databend 是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式湖仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。

👨‍💻‍ Databend Cloud：databend.cn

📖 Databend 文档：docs.databend.cn

💻 Wechat：Databend

✨ GitHub：github.com/databendlab...