亲爱的社区小伙伴们，Apache Doris 2.1.9 版本已正式发布。2.1.9 版本对湖仓一体、倒排索引、半结构化数据类型、查询优化器、执行引擎、存储管理进行了若干改进优化。欢迎大家下载使用。
官网下载： https://doris.apache.org/download
GitHub 下载： https://github.com/apache/doris/releases
行为变更
- Audit Log 中的 SQLHash 通过当前执行的 SQL 精确计算，解决了同一请求中所有 SQL 使用相同 SQLHash 的问题。
- 查询返回的 ColumnLabelName 与 SQL 中的输入完全一致。
- 所有在用户属性中设置的变量，优先级均高于 session 级别设置的变量。
新功能
- 在存储管理方面，禁止 rename 分区列。
- FE 监控指标新增 Catalog、Database、Table 数量指标。
改进提升
倒排索引
- VARIANT 类型中的 ARRAY 支持倒排索引。
- Profile 中展示每个过滤条件的倒排索引性能指标。
查询优化器
- 支持在聚合查询中使用
SELECT *，如果下层 relation 仅输出聚合 key 列。
存储管理
- CCR 优化回收 binlog 效率、小文件传输效率，并增强了混沌环境下的健壮性。
- 改进了导入的错误提示，使错误提示更加具体。
Bug 修复
湖仓一体
- 修复 BE 端无法正确配置 krb5.conf 路径的问题。
- 禁止
SELECT OUTFILE语句重试以避免重复导出数据。 - 修复无法通过 JAVA API 访问 Paimon 表的问题。
- 修复无法写入存储位置为
s3a://的 Hive 表的问题。 - 修复 Catalog 的 Comment 字段没有被持久化的问题。
- 修复某些情况下，JDBC BE 端类加载泄漏的问题。
- 修复 JDBC Catalog 无法使用高版本 ClickHouse JDBC Driver 的问题。
- 修复某些情况下，读取 Iceberg Position Delete 导致 BE 宕机的问题。
- 修复多分区列情况下读取 MaxCompute 表数据错误的问题。
- 修复某些情况下读取 Parquet 复杂列类型错误的问题。
倒排索引
- 修复 ARRAY 类型倒排索引空值处理错误的问题。
- 修复对刚刚添加的列执行
BUILD INDEX异常的问题。 - 修复特殊字符 UTF8 编码索引被截断导致结果错误的问题。
半结构化数据类型
- 修复
array_agg函数在特殊情况下 crash 的问题。 - 修复 Stream Load 导入 JSON 类型时，chunk 参数设置错误导致 crash 的问题。
查询优化器
- 修复时间函数内嵌套
current_date等关键字函数无法的进行常量折叠的问题。 - 修复非确定性函数相关的结果错误问题。
- 修复当原表有 on update 列属性时，CREATE TABLE LIKE 无法执行的问题。
- 修复直查聚合模型表的物化视图可能产生非预期规划报错的问题。
- 修复 PrepareStatement 因为内部 ID 溢出导致异常的问题。
查询执行引擎
- 修复了查询系统表时，可能出现查询卡住或空指针的问题。
- LEAD/LAG 函数支持了 DOUBLE 类型。
- 修复了
case when条件超过256个时，查询报错的问题。 - 修复了
str_to_date函数在空格的时候，结果错误的问题。 - 修复了
split_part函数在常量折叠时遇到 || ，结果错误的问题。 - 修复了
log函数结果错误的问题。 - 修复了
array/map函数在 Lambda 表达式中使用时导致的 core 的问题。
存储管理
- 修复了导入聚合表时，可能的内存写脏问题
- 修复内存紧张时 MoW 导入偶发 coredump 问题。
- 修复 MoW 在 BE 重启和 Schema Change 时可能出现重复 key 的问题。
- 修复 Group Commit 和全局打开列更新以及 memtable 前移时的问题。
权限管理
- 使用 LDAP 时不再会抛出 PartialResultException 异常。