亲爱的社区小伙伴们，Apache Doris 2.1.8 版本已于 2025 年 01 月 24 日正式发布。 该版本持续在湖仓一体、异步物化视图、查询优化器与执行引擎、存储管理等方面进行改进提升与问题修复，进一步加强系统的性能和稳定性，欢迎大家下载体验。
- 立即下载：https://doris.apache.org/download
- GitHub 下载：https://github.com/apache/doris/releases/tag/2.1.8-rc01
行为变更
- 添加环境变量
SKIP_CHECK_ULIMIT以跳过 BE 进程内关于 ulimit 值校验检查，仅适用于 Docker 快速启动场景中应用。#45267 - 添加
enable_cooldown_replica_affinity session变量控制冷热分层下查询选用副本亲和性 - FE 添加配置
restore_job_compressed_serialization和backup_job_compressed_serialization用于解决 db tablet 数量非常大情况下备份和恢复操作时 FE OOM 的问题，打开之后无法降级
新功能
改进提升
湖仓一体
- Hudi 版本更新至 0.15，并且优化了 Hudi 表的查询规划性能。
- 优化了 MaxCompute 分区表的读取性能。 #45148
- 支持会话变量 enable_text_validate_utf8，可以忽略 CSV 格式中的 UTF8 编码检测。#45537
- 优化在高过滤率情况下，Parquet 文件延迟物化的性能。#46183
异步物化视图
查询优化器
- 提升了 Runtime Filter 的自适应能力。#42640
- 增加了在 MAX / MIN 聚合函数列上的过滤条件生成原始列过滤条件的能力。#39252
- 增加了在连接谓词上抽取单测过滤条件的能力。#38479
- 优化了谓词推导在集合算子上的能力，可以更好的生成过滤谓词。#39450
- 优化了统计信息收集和使用的异常处理能力，避免在收集异常时产生非预期的执行计划。#43009 #43776 #43865 #42104 #42399 #41729
查询执行引擎
存储管理
- CCR 支持了更加全面的操作，比如 Rename Table，Rename Column，Modify Comment，Drop View，Drop Rollup 等。
- 提升了 Broker Load 导入进度的准确性和多个压缩文件导入时的性能。
- 改进了 Routine Load 超时策略、线程池使用以防止 Routine Load 超时失败和影响查询。
其他
- Docker 快速启动镜像支持不设置环境参数直接启动，添加环境变量
SKIP_CHECK_ULIMIT以跳过start_be.sh脚本以及 BE 进程内关于swap、max_map_count、ulimit相关校验检查，仅适用于 Docker 快速启动场景中应用。#45269 - 新增 LDAP 配置型
ldap_group_filter用于自定义 Group 过滤。#43292 - 优化了使用 Ranger 时的性能。#41207
- 修复审计日志中，
scan bytes统计不准的问题。#45167 - 在 COLUMNS 系统表中能够正确显示列的默认值。#44849
- 在 VIEWS 系统表中能够正确显示视图的定义。#45857
- 当前，admin 用户不能被删除。#44751
Bug 修复
湖仓一体
-
Hive
-
Iceberg
-
Paimon
- 修复 Paimon Catalog 无法访问阿里云 OSS-HDFS 的问题。#42585
-
Hudi
- 修复某些情况下，Hudi 表分区裁剪失效的问题。#44669
-
JDBC
- 修复某些情况下，开始表名大小写不敏感功能后，使用 JDBC Catalog 无法获取表的问题。
-
MaxCompute
- 修复某些情况下，MaxCompute 表分区裁剪失效的问题。#44508
-
其他
异步物化视图
- 修复了当物化视图定义中存在 CTE 时，无法刷新的问题。#44857
- 修复了当基表增加列后，异步物化视图不能命中透明改写的问题。#44867
- 修复了当查询中在不同位置包含相同的过滤谓词时，透明改写失败的问题。#44575
- 修复了当过滤谓词或连接谓词中使用列的别名时，无法透明改写的问题。#44779
索引
- 修复倒排索引 Compaction 异常处理的问题 #45773
- 修复倒排索引构建因为等锁超时失败的问题 #43589
- 修复异常情况下倒排索引写入 Crash 的问题。#46075
- 修复 Match 函数特殊参数时空指针的问题 #45774
- 修复 VARIANT 倒排索引相关的问题，禁用 VARIANT 使用索引 v1 格式。#43971 #45179
- 修复 NGram Bloomfilter Index 设置
gram_size = 65535时 Crash 的问题。#43654 - 修复 Bloomfilter Index 计算 DATE 和 DATETIME 不对的问题。#43622
- 修复 Drop Coloumn 没有自动 Drop Bloomfilter Index 的问题。#44478
- 减少 Bloomfilter Index 写入时的内存占用。#46047
半结构化数据类型
- 优化内存占用，降低 VARIANT 数据类型的内存消耗。#43349 #44585 #45734
- 优化 VARIANT Schema Copy 性能。#45731
- 自动推断 Tablet Key 时不将 VARIANT 作为 Key。#44736
- 修复 VARIANT 从 NOT NULL 改成 NULL 的问题。#45734
- 修复 Lambda 函数类型推断错误的问题。#45798
- 修复
ipv6_cidr_to_range函数边界条件 Coredump。#46252
查询优化器
- 修复了潜在的表读锁互斥导致的死锁问题，并优化了锁的使用逻辑#45045 #43376 #44164 #44967 #45995
- 修复了 SQL Cache 功能错误的使用常量折叠导致在使用包含时间格式的函数时结果不正确的问题。#44631
- 修复了比较表达式优化，在边缘情况下可能优化错误，导致结果不正确的问题。#44054 #44725 #44922 #45735 #45868
- 修复高并发点查审计日志不正确的问题。#43345#44588
- 修复高并发点查遇到异常后持续报错的问题。#44582
- 修复部分字段 Prepared Statement 不正确的问题。#45732
查询执行引擎
- 修复了正则表达式和 LIKE 函数在特殊字符时结果不对的问题。#44547
- 修复 SQL Cache 在切换 DB 的时候结果可能不对的问题。#44782
- 修复
cut_ipv6函数结果不对的问题。#43921 - 修复数值类型到 bool 类型 cast 的问题。#46275
- 修复了一系列 Arrow Flight 相关的问题。#45661 #45023 #43960 #43929
- 修复了当 hashjoin 的 hash 表超过 4G 时，部分情况结果错误的问题。#46461
- 修复了 convert_to 函数在中文字符时溢出的问题。#46505
存储管理
- 修复高并发 DDL 可能导致 FE 启动失败的问题。
- 修复自增列可能出现重复值的问题。
- 修复扩容时 Routine Load 不能使用新扩容 BE 的问题。
权限管理
- 修复使用 Ranger 作为鉴权插件时，频繁访问 Ranger 服务的问题#45645
Others
- 修复 BE 端开启
enable_jvm_monitor=true后可能导致的内存泄露问题。#44311