亲爱的社区小伙伴们，Apache Doris 3.0.3 版本已于 2024 年 12 月 02 日正式发布。 该版本进一步提升了系统的性能及稳定性，欢迎大家下载体验。
-
GitHub 下载：https://github.com/apache/doris/releases
-
官网下载：Apache Doris - Download | Easily deploy Doris anywhere - Apache Doris
行为变更
新特性
- 引入
enable_cooldown_replica_affinity会话变量，用以控制冷热分层副本的亲和性。#42677
Lakehouse
异步物化视图
- 引入新的物化视图属性
use_for_rewrite。当use_for_rewrite设置为 false 时，物化视图不参与透明改写。#40332
查询优化器
- 支持关联非聚合子查询。#42236
查询执行
-
增加了
ngram_search、normal_cdf、to_iso8601、from_iso8601_date、SESSION_USER()、last_query_id函数。#38226 #40695 #41075 #41600 #39575 #40739 -
aes_encrypt和aes_decrypt函数支持 GCM 模式。#40004
半结构化数据管理
-
数组函数
array_agg支持在 ARRAY 中嵌套 ARRAY/MAP/STRUCT。#42009 -
新增近似聚合统计函数
approx_top_k和approx_top_sum。#44082
改进与优化
存储
-
支持将
bitmap_empty作为默认值。#40364 -
引入
insert_timeout会话变量，用以控制 DELETE 语句的超时时间。#41063 -
改进副本修复的优先级调度。#41076
-
在创建表时检查分区表达式的合法性。#40158
-
在 DELETE 操作时支持 Unicode 编码的列名。#39381
存算分离
-
S3 storage vault 支持
use_path_style，解决对象存储使用自定义域名的问题。#43060 #43343 #43330 -
优化可观测性，并提供删除指定 segment file cache 的接口。#38489 #42896 #41037 #43412
-
优化 Meta-service 运维接口：RPC 限速及修复 tablet 元数据修正。#42413 #43884 #41782 #43460
Lakehouse
-
优化了访问 External Catalog 中
information_schema.columns表的性能。#41659 #41962 -
使用新的 Max Compute 开放存储 API 访问 Max Compute 数据源。#41614
-
优化了 Paimon 表 JNI 部分的调度策略，使得扫描任务更加均衡。#43310
-
支持读取 brotli 压缩格式的 parquet 文件。#42177
-
在
information_schema库下新增file_cache_statistics表，用于查看元数据缓存统计信息。#42160
查询优化器
-
优化：当查询仅注释不同时，可以复用同一个 SQL Cache。#40049
-
优化：提升了在数据频繁更新时统计信息的稳定性。#43865 #39788 #43009 #40457 #42409 #41894
查询执行
-
优化了 sort 算子的内存使用。#39306
-
使用 SSE 指令优化
match_ipv6_subnet函数的性能。#38755 -
在 Profile 中增加了每个 PipelineTask 的状态。#42981
-
IP 类型支持 runtime filter。#39985
半结构化数据管理
-
审计日志中输出 prepared statement 的真实 SQL。#43321
-
filebeat doris output plugin 支持容错、进度报告等。#36355
-
数组函数
array overlaps支持使用倒排索引加速。#41571 -
IP 函数
is_ip_address_in_range支持使用倒排索引加速。#41571 -
优化 Variant 数据类型的元数据和执行内存资源消耗。#42448 #43326 #41482 #43093 #43567 #43620
权限
- LDAP 新增配置项
ldap_group_filter用于自定义过滤 group。#43292
其他
- FE 监控项中的连接数信息支持按用户分别显示。#39200
问题修复
存储
存算分离
-
修复 MOW 主键表 delete bitmap 过大可能导致 coredump 的问题。#43088 #43457 #43479 #43407 #43297 #43613 #43615 #43854 #43968 #44074 #41793 #42142
-
修复 segment 文件为 5MB 整数倍时上传对象失败的问题。#43254
-
修复 alter storage vault 时指定错误 type 也能继续执行的问题。#43489 #43352 #43495
-
修复常量折叠 RCP 以及 FE 转发 SQL 可能不在预期的计算组执行的问题。#43110 #41819 #41846
-
修复 meta-service 接收到 RPC 时不严格检查 instance_id 的问题。#43253 #43832
-
修复 FE follower information_schema version 没有及时更新的问题。#43496
Lakehouse
-
禁止带有隐式转换的谓词条件下推给 JDBC 数据源，避免不一致的查询结果。#42102
-
修复 Hive 高版本事务表的一些读取问题。#42226
-
修复无法查询 Spark 创建的 Hive 视图的问题。#43552
-
修复 Hive 分区路径中包含特殊字符导致分区裁剪有误的问题。#42906
-
修复 Iceberg Catalog 无法使用 AWS Glue 的问题。#41084
异步物化视图
- 修复基表重建后，异步物化视图可能无法刷新的问题。#41762
查询优化器
查询执行
-
修复 hash join 时 array 类型的大小超过 4G 导致 BE Core 的问题。#43861
-
修复 is null 谓词运算部分场景下结果不正确的问题。#43619
-
修复 bitmap 类型在 hash join 时输出结果不正确的问题。#43718
-
修复一些函数结果计算错误的问题。#40710 #39358 #40929 #40869 #40285 #39891 #40530 #41948 #43588
-
修复一些 JSON 类型解析的问题。#39937
-
修复 arrow flight 在连接时报
Reach limit of connections错误的问题。#39127 -
修复 k8s 环境下，BE 可用内存统计不正确的问题。#41123
半结构化数据管理
-
调整
segment_cache_fd_percentage和inverted_index_fd_number_limit_percent的默认值。[#42224](https://github.com/apache/doris/pull/42224 -
logstash 支持 group_commit。#40450
-
修复后台 compaction 异常情况下可能出现的 fd 和内存泄漏。#42374
-
倒排索引 match null 正确返回 null 而不是 false。#41786
-
修复 ngram bloomfilter 索引 bf_size 设置为 65536 时 coredump 的问题。#43645
-
修复复杂数据类型 JOIN 可能出 coredump 的问题。#40398
-
修复 TVF JSON 数据 coredump 的问题。#43187
-
修复 bloom filter 计算日期和时间的精度问题。#43612
-
修复 IPv6 类型行存 coredump 的问题。#43251
-
修复关闭 light_schema_change 时使用 VARIANT 类型 coredump 的问题。#40908
-
提升高并发点查的 cache 性能。#44077
-
修复删除列时 bloom filter 索引没有同步更新的问题。#43378
-
修复 es catalog 在数组和标量混合数据等特殊情况下的不稳定问题。#40314 #40385 #43399 #40614
-
修复异常正则匹配导致的 coredump 问题。#43394
权限
其他